Visual Whole-Body Control for Legged Loco-Manipulation

我们研究了使用携带机械臂的四足机器人进行移动操作的问题，即四足机器人的运动操作。机器人的腿通常用于移动，但同时也提供了通过进行全身控制来增强操作能力的机会。也就是说，机器人可以同时控制腿和手臂来扩展其工作空间。我们提出了一个框架，可以使用视觉观察自主地进行全身控制。我们的方法名为视觉全身控制（VBC），由一个低级策略和一个高级策略组成。低级策略使用所有自由度来跟踪末端执行器的位置，高级策略基于视觉输入提出末端执行器的位置。我们在仿真中训练了两个层次的策略，并进行了Sim2Real转移以进行真实机器人部署。我们进行了大量实验，并展示了在不同配置（高度、位置、方向）和环境中拾取不同物体方面相对于基线的显着改进。 项目页面：https://wholebody-b1.github.io

本论文旨在解决移动机器人的操纵问题，提出了一种基于视觉观察的全身控制框架，以扩展机器人的工作空间。

论文提出了一种名为Visual Whole-Body Control（VBC）的框架，它由一个低级策略和一个高级策略组成，可以自主地进行全身控制。在模拟环境中训练两个策略，并进行Sim2Real转移，以在真实机器人部署中使用。

论文通过大量实验展示了在不同高度、位置和方向的不同配置下拾取多样化物体的能力，相比基线方法取得了显著改进。此外，论文提供了项目页面和开源代码。

最近相关研究包括《Deep Locomotion via Reinforcement Learning in 3D and the Effect of Sensorimotor Cues》和《Whole-Body Control of Wheeled-Humanoid Robots for Dynamic Motions in Human Environments》等。