Learning Human-to-Humanoid Real-Time Whole-Body Teleoperation

我们提出了一种名为“人到仿生”（H2O）的强化学习（RL）框架，仅通过RGB相机即可实现全尺寸仿生机器人的实时全身远程操作。为了为仿生机器人创建一个大规模的人体运动重定向数据集，我们提出了一种可扩展的“从仿真到数据”的过程，使用特权运动模仿器来过滤和选择可行的动作。然后，我们使用这些精细的动作在仿真中训练出一个强大的实时仿生机器人运动模仿器，并以零样本的方式将其转移到真实的仿生机器人中。我们成功地实现了在现实场景中动态全身运动的远程操作，包括行走、后跳、踢球、转身、挥手、推动、拳击等。据我们所知，这是第一个实现基于学习的实时全身仿生机器人远程操作的演示。

实现基于强化学习的实时全身人形机器人远程操作，并且只使用RGB摄像头。

通过“sim-to-data”过程和特权运动模仿器创建一个大规模的人类运动数据集，用于训练机器人在仿真环境中进行实时运动模仿，最终实现零-shot方式下的真实机器人全身运动远程操作。

论文的亮点包括：1.使用特权模仿器创建大规模的人类运动数据集；2.在仿真环境中训练机器人进行实时运动模仿；3.实现了多种动态全身运动的远程操作，包括行走、跳跃、踢球、转身、挥手、推、拳击等；4.这是首次实现基于学习的实时全身人形机器人远程操作。

最近的相关研究包括：1.基于深度学习的机器人运动规划；2.基于强化学习的机器人运动控制；3.基于视觉的机器人运动估计。相关论文包括：1.“DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills”；2.“Reinforcement Learning for Robust Parameterized Control of a Humanoid Robot”；3.“Real-time Humanoid Motion Planning and Control Using Vision-Based State Estimation”。