Visual Whole-Body Control for Legged Loco-Manipulation

我们研究了使用带有机械臂的四足机器人进行移动操作的问题，即四足机器人操作。机器人的腿通常用于移动，但也提供了一个机会，即通过进行全身控制来增强操作能力。也就是说，机器人可以同时控制腿和手臂以扩展其工作区域。我们提出了一个框架，可以使用视觉观察自主地进行全身控制。我们的方法名为\ourFull~(\our)，由低层策略和高层策略组成。低层策略使用所有自由度来跟踪末端执行器的位置，高层策略基于视觉输入提出末端执行器的位置。我们在仿真中训练了两个层次的策略，并进行了Sim2Real转移，以进行真实机器人部署。我们进行了大量实验，并在不同配置（高度、位置、方向）和环境中展示了比基线显着的改进，可以成功地拾取各种物体。项目页面：https://wholebody-b1.github.io

本论文旨在解决移动机器人使用带有机械臂的四足机器人进行操纵时的问题，提出了一种全身控制的框架，可以自主地进行视觉观察。

论文的关键思路是通过低级策略追踪末端执行器的位置，通过高级策略提出基于视觉输入的末端执行器位置，从而实现全身控制。同时，在模拟中训练两个级别的策略，并进行Sim2Real转移以进行真实机器人部署。

论文通过大量实验表明，相比基线，在不同配置（高度，位置，方向）和环境中拾取不同物体方面，取得了显著的改进。此外，该项目还提供了开源代码。

与此相关的最近研究包括：1. Learning Locomotion Skills using DeepRL: Does the Choice of Action Space Matter? 2. Learning to Move in the Real World with Synthetic Gradients。