Learning Humanoid Locomotion with Perceptive Internal Model

与能够使用“盲”策略导航多种地形的四足机器人不同，人形机器人由于其高自由度和固有的不稳定性，需要精确的感知才能实现稳定的行走。然而，引入感知信号通常会向系统引入额外的干扰，可能降低其鲁棒性、泛化能力和效率。本文提出了感知内部模型（PIM），该模型依赖于围绕机器人中心的机载、连续更新的高度图来感知周围环境。我们在仿真中使用围绕机器人的地面真实障碍物高度来训练策略，并基于混合内部模型（HIM）进行优化，在推理时则从构建的高度图中采样高度。与之前直接编码深度图或原始点云的方法不同，我们的方法使机器人能够清晰地感知脚下的地形，并且受摄像头移动或噪声的影响较小。此外，由于在仿真中不需要渲染深度图，我们的方法引入的额外计算成本最小，可以在RTX 4090 GPU上在3小时内训练策略。我们通过各种人形机器人、室内外地形、楼梯以及各种传感器配置验证了我们方法的有效性。我们的方法可以使人形机器人连续爬楼梯，并有望成为未来人形控制方法开发的基础算法。

论文试图解决的问题是，如何使双足机器人在多样化的地形上实现稳定行走，尤其是在面对高自由度和不稳定形态时，如何有效地整合感知信号而不降低系统的鲁棒性、泛化能力和效率。这是一个重要的问题，因为现有的方法在引入感知信号时往往会导致系统性能下降。

论文的关键思路是提出了一种称为Perceptive Internal Model (PIM)的方法，该方法利用机载的、连续更新的地形高度图来感知周围环境。与直接编码深度图或原始点云的方法不同，PIM能够更清晰地感知机器人脚下地形，并且对相机移动或噪声的影响较小。此外，由于模拟过程中不需要渲染深度图，因此该方法的计算成本较低，可以在3小时内使用RTX 4090 GPU完成策略训练。这一思路在提高双足机器人感知能力的同时，保持了系统的高效性和稳定性。

论文的其他亮点包括：1) 该方法在多种双足机器人、室内外地形、楼梯和不同的传感器配置下进行了验证，证明了其广泛适用性；2) 实验设计涵盖了从模拟到真实世界的测试，确保了方法的有效性和可靠性；3) 论文提供了开源代码，便于其他研究者复现和进一步研究；4) 该方法不仅提高了双足机器人的导航能力，还为未来的人形控制算法开发奠定了基础。

最近在这个领域中，还有一些相关的研究，例如：1) "Learning to Navigate with Active Perception for Legged Robots"，该研究探讨了通过主动感知来提高四足机器人的导航能力；2) "Terrain-Aware Locomotion Skills for Quadrupedal Robots"，该研究提出了基于地形感知的四足机器人运动技能；3) "Hierarchical Control for Bipedal Locomotion on Uneven Terrain"，该研究通过分层控制方法来实现双足机器人在不平地形上的稳定行走。