MoRE: Mixture of Residual Experts for Humanoid Lifelike Gaits Learning on Complex Terrains

类人机器人已经通过基于强化学习（RL）的方法展示了强大的行走能力。此外，为了获得类似人类的行为，现有方法通常在强化学习框架中整合人体动作追踪或运动先验信息。然而，这些方法仅限于仅使用本体感受的平坦地形，限制了它们以类似人类的步伐穿越具有挑战性地形的能力。在本研究中，我们提出了一种新颖的框架，该框架利用潜在残差专家混合与多判别器相结合的方法来训练强化学习策略。该策略能够通过外部感知，在可控的拟人化步态下穿越复杂地形。我们的两阶段训练流程首先教导策略使用深度相机穿越复杂地形，然后实现对类似人类步态模式的指令控制切换。我们还设计了步态奖励函数，用于调整诸如机器人基座高度等类似人类的行为特征。仿真和真实世界实验表明，我们的框架在穿越复杂地形方面表现出优异性能，并且能够在多种类似人类的步态模式之间实现无缝切换。

本论文试图解决 humanoid 机器人在复杂地形上以人类相似步态行走的问题。传统方法受限于平坦地形和仅依赖本体感知（proprioception），难以实现挑战性地形上的类人步态控制。这是一个需要结合外感知（exteroception）和强化学习（RL）的新问题。

论文提出了一种新颖的两阶段训练框架：第一阶段通过深度相机学习复杂地形导航，第二阶段引入混合潜在残差专家（mixture of latent residual experts）与多判别器（multi-discriminators）机制，实现可控的人类步态切换。相比现有方法，该框架不仅利用了外感知信息（如深度数据），还设计了特定的步态奖励函数来调整机器人行为（如机器人基座高度），从而更接近真实人类运动模式。

1. 论文在模拟和现实环境中验证了框架的有效性，展示了机器人在复杂地形上的卓越表现及多种人类步态间的无缝切换能力。 2. 提出了基于深度相机的地形感知策略，增强了机器人对非平坦地形的适应性。 3. 设计了专门的步态奖励函数，用于优化人类相似行为。 4. 实验部分详细比较了不同地形条件下的性能，并展示了实际硬件测试结果。 5. 尽管未明确提到代码开源，但其创新方法为后续研究提供了坚实基础，值得进一步探索如何将此技术扩展到更多场景或更复杂的机器人形态。

近期相关研究包括： 1. "Learning Agile and Dynamic Motor Skills for Legged Robots" - 探索了通过深度强化学习实现四足机器人敏捷动态技能。 2. "MIME: Motion Imitation with Multi-Task Expert Distillation" - 结合运动模仿和多任务专家蒸馏提升机器人动作表现。 3. "Terrain-Adaptive Locomotion Skills Using Deep Reinforcement Learning" - 研究了基于深度强化学习的地形自适应步行动能。 4. "DeepLoco: End-to-End Locomotion Synthesis with Deep Neural Networks" - 使用深度神经网络合成类人步行动作。 这些工作均围绕强化学习与机器人运动控制展开，但本论文的独特之处在于结合了外感知信息和多判别器机制，以实现更自然的类人步态控制。