BeyondMimic: From Motion Tracking to Versatile Humanoid Control via Guided Diffusion

从人类动作中学习技能为实现通用且灵活的人形机器人全身控制策略提供了一条有前景的路径，然而目前仍有两个关键基础尚未完善：（1）一个高质量的动作追踪框架，能够将大规模的运动学参考数据忠实转换为在真实硬件上稳定且极具动态性的动作；（2）一种蒸馏方法，能够有效学习这些动作基元，并将其组合起来以完成下游任务。我们提出了BeyondMimic，一个面向真实世界的人形机器人控制框架，通过引导扩散机制，从人类动作中学习出通用且自然的人体运动控制方式。我们的框架提供了一套动作追踪流程，能够实现诸如跳跃旋转、冲刺和侧手翻等高难度技能，其动作质量达到当前最优水平。BeyondMimic不仅限于对已有动作的简单模仿，还进一步引入了一种统一的扩散策略，使系统在测试阶段能够通过简单的代价函数实现零样本的任务特定控制。在实际硬件上的部署结果显示，BeyondMimic在测试阶段能够完成多种任务，包括路径点导航、操纵杆远程控制以及避障等，有效弥合了仿真到实物的动作追踪鸿沟，并实现了人体动作基元的灵活合成，用于全身控制。https://beyondmimic.github.io/

论文旨在解决从人类动作中学习技能以实现通用且灵活的人形机器人全身控制的问题。当前存在两个关键问题：一是缺乏高质量的动作跟踪框架，将大规模运动数据转化为硬件上鲁棒且动态的动作；二是缺乏有效的策略来学习和组合这些动作基元以完成下游任务。这是一个相对较新的问题，涉及运动捕捉、强化学习和机器人控制的交叉。

论文提出BeyondMimic框架，通过引导扩散模型从人类动作中学习，并实现对任务特定控制的零样本适应。其关键创新在于结合高质量的运动跟踪管道与统一的扩散策略，不仅模仿已有动作，还能在测试时根据简单成本函数合成新动作，实现灵活控制。

1. 提出了高质量的运动跟踪框架，支持跳跃旋转、冲刺、侧手翻等高动态动作在真实硬件上的实现。 2. 引入扩散策略模型，支持零样本的任务特定控制，无需重新训练。 3. 在真实机器人上实现了多种任务，包括路径导航、手柄遥控和避障。 4. 代码与项目主页已开源（https://beyondmimic.github.io/），有助于后续研究与复现。 5. 实验验证了从仿真到真实环境的迁移能力，以及动作基元的灵活组合能力。

1. Learning Human Behaviors from Large-Scale Data for Robotic Imitation 2. Diffusion Policies for Real-Time Robotic Control 3. Sim-to-Real Transfer of Locomotion Skills via Imitation Learning 4. Human Motion Priors for Bipedal Robot Walking and Balancing 5. Zero-Shot Motion Composition through Latent Space Diffusion