WoCoCo: Learning Whole-Body Humanoid Control with Sequential Contacts

本文介绍了一种统一框架WoCoCo（Whole-Body Control with Sequential Contacts），用于学习全身人形机器人控制，包括顺序接触，通过自然分解任务为单独的接触阶段，简化了学习管道，需要为每个任务指定一个或两个任务相关术语。通过WoCoCo训练的端到端强化学习控制器，能够在现实世界中完成4个具有挑战性的全身人形任务，包括多样化的接触序列：1）多功能跑酷跳跃，2）盒子运动操作，3）动态拍手跳舞，4）悬崖攀登。研究还表明，WoCoCo是一个通用的框架，不仅适用于人形机器人，还可应用于22自由度恐龙机器人的运动操作任务。

本论文旨在解决全身机器人在复杂交互和操作中涉及到的顺序接触问题，提出了一种新的无模型强化学习框架，通过自然地将任务分解为不同的接触阶段来实现。

WoCoCo是一种学习全身机器人控制的统一框架，它通过将任务分解为不同的接触阶段来简化和通用化策略学习管道，只需要为每个任务指定一个或两个任务相关术语。

本论文提出的WoCoCo框架可以实现四项具有挑战性的全身机器人任务，包括跑酷跳跃、箱子操作、动态拍手跳舞和悬崖攀爬，同时也可以应用于22-DoF恐龙机器人操作任务。实验结果表明，WoCoCo是一个通用的框架，具有很高的灵活性和鲁棒性。

近年来，无模型强化学习在机器人控制领域得到了广泛应用。与此同时，也出现了许多与本论文相关的研究，例如《End-to-End Learning of Locomotion Using Deep RL》和《Deep Reinforcement Learning for Vision-Based Robotic Grasping: A Simulated Comparative Evaluation of Off-Policy Methods》等。