KungfuBot: Physics-Based Humanoid Whole-Body Control for Learning Highly-Dynamic Skills

类人机器人通过模仿人类行为，有望掌握各种技能。然而，现有的算法即使在精心设计的奖励机制和课程安排下，也仅能追踪平滑、低速的人体运动。本文提出了一种基于物理的人形机器人控制框架，旨在通过多阶段的动作处理和自适应动作跟踪，掌握高度动态的人类行为，例如功夫和舞蹈。在动作处理方面，我们设计了一条管道来提取、过滤、修正和重定向动作，同时最大程度地确保符合物理约束条件。在动作模仿方面，我们将问题表述为双层优化问题，根据当前跟踪误差动态调整跟踪精度的容差范围，从而创建一种自适应课程机制。我们进一步构建了一个非对称演员-评论家（actor-critic）框架用于策略训练。在实验中，我们训练了全身控制策略以模仿一系列高度动态的动作。我们的方法相比现有方法显著降低了跟踪误差，并成功部署于Unitree G1机器人上，展示了稳定且富有表现力的行为。项目页面为：https://kungfu-bot.github.io。

该论文试图解决现有算法在模仿人类行为时只能跟踪平滑、低速运动的问题，尤其是在高度动态的人类行为（如功夫和舞蹈）上的局限性。这是一个具有挑战性的问题，因为现有的方法通常无法处理复杂的物理约束和快速变化的运动。

论文提出了一种基于物理的仿人控制框架，通过多步骤的运动处理和自适应运动跟踪来解决上述问题。关键思路包括：1) 设计一个运动处理管道，用于提取、过滤、校正和重定向运动数据，同时确保符合物理约束；2) 提出双层优化问题，动态调整跟踪精度容差以创建自适应课程机制；3) 构建不对称演员-评论家框架进行策略训练。相比现有研究，这种方法更注重动态行为的精确性和稳定性。

实验表明，该方法能够显著降低跟踪误差，并成功部署在Unitree G1机器人上，展示出稳定且富有表现力的行为。此外，项目页面提供了详细的实验结果和视频演示，代码已开源，便于后续研究者复现和改进。值得进一步研究的方向包括扩展到更多复杂场景以及提高实时性能。

近期相关研究包括：1)《Learning Agile Robotics Manipulation via Hierarchical Reinforcement Learning》探讨了分层强化学习在敏捷操作中的应用；2)《Physics-based Motion Retargeting for Humanoid Robots》专注于基于物理的运动重定向技术；3)《Adaptive Curriculum Learning for Robotic Imitation》提出了适应性课程学习在机器人模仿中的新方法。这些研究共同推动了仿人机器人在复杂任务中的能力提升。