Hybrid Internal Model: Learning Agile Legged Locomotion with Simulated Robot Response

强健的运动控制依赖于准确的状态估计。然而，大多数腿式机器人的传感器只能提供部分和嘈杂的观测值，这使得估计尤其具有挑战性，特别是对于外部状态，如地形摩擦力和高程图。受经典的内模型控制原理的启发，我们将这些外部状态视为干扰，并引入混合内模型（HIM）来根据机器人的响应进行估计。我们称之为混合内部嵌入的响应包含机器人的显式速度和隐式稳定性表示，对应于运动任务的两个主要目标：显式跟踪速度和隐式维持稳定性。我们使用对比学习来优化嵌入，使其接近机器人的后继状态，在其中响应自然地嵌入。HIM具有几个吸引人的优点：它只需要机器人的本体感知，即来自关节编码器和IMU的观测值。它创新性地保持了仿真参考和现实之间的一致观测，避免了在模仿学习中的信息丢失。它利用了更加稳健的批次级别信息，并保持更好的样本效率。它只需要在RTX 4090上进行1小时的训练，就可以使四足机器人在任何干扰下穿越任何地形。大量的实际实验展示了它的灵活性，即使在高难度任务和训练过程中从未出现的情况下，也显示出了卓越的开放世界通用性。

论文旨在解决机器人运动控制中，由于传感器提供的信息不完整和噪声干扰等因素，导致状态估计困难的问题。同时，论文也试图验证基于内部模型控制的混合内部模型方法在解决该问题时的有效性。

论文提出了一种混合内部模型方法（HIM），将机器人外部状态（如地形摩擦力和高程图）视为干扰，通过机器人的响应来估计这些外部状态。论文使用对比学习来优化嵌入，使其接近机器人的后继状态，从而实现状态估计。HIM方法不仅只需要机器人的本体感知作为观测，而且能够在模拟和现实之间保持一致的观测，避免了在模仿学习中的信息丢失，同时还能够更好地利用批次级别的信息，提高鲁棒性和样本效率。

论文通过实验验证了HIM方法的有效性和鲁棒性，在1小时的训练时间内，使四足机器人能够在任何干扰下穿越任何地形。实验结果表明，该方法具有良好的开放世界泛化性能，即使在高难度任务和训练过程中未出现的情况下，也能表现出良好的灵活性。此外，论文还开源了代码。

在该领域的相关研究包括：《Robust Locomotion Control through a Hybrid of Learning and Control》、《Internal Model Control: A New Approach to Industrial Control》、《Learning to Simulate Complex Physics with Graph Networks》等。