UMI on Legs: Making Manipulation Policies Mobile with Manipulation-Centric Whole-body Controllers

我们介绍了UMI-on-Legs，这是一个新的框架，将四足机器人操作系统的实际数据和模拟数据相结合。我们使用手持夹爪（UMI）在现实世界中扩大了以任务为中心的数据收集，提供了一种廉价的方法来展示与任务相关的操作技能，而不需要机器人。同时，我们通过训练全身控制器来扩展模拟中的机器人中心数据，以实现任务跟踪，而无需任务模拟设置。这两个策略之间的接口是任务框架中的末端执行器轨迹，由操作策略推断并传递给全身控制器进行跟踪。我们评估了UMI-on-Legs在抓握、非抓握和动态操作任务上的表现，并报告了所有任务的70%以上的成功率。最后，我们展示了先前工作中预先训练的操作策略检查点的零-shot跨体部署，最初是针对固定基础机械臂的，现在在我们的四足系统上。我们相信这个框架提供了一条可扩展的路径，以在动态机器人实体上学习表达性的操作技能。请访问我们的网站，查看机器人视频、代码和数据：https://umi-on-legs.github.io。

UMI-on-Legs论文旨在解决动态机器人四足操纵中的任务中心数据收集和机器人中心数据收集之间的接口问题，以及在动态机器人中学习表达性操纵技能的挑战。

UMI-on-Legs框架结合了现实世界和模拟数据，通过手持夹具（UMI）在现实世界中进行任务中心数据收集，同时在模拟中训练全身控制器进行任务跟踪，通过操纵策略推断的末端执行器轨迹，在任务框架中传递给全身控制器进行跟踪。

论文在预抓、非预抓和动态操纵任务上评估了UMI-on-Legs，并报告了所有任务超过70%的成功率。此外，论文还展示了预先训练的操纵策略在四足机器人系统上的零-shot跨体部署。

与此相关的研究包括基于机器人的数据收集和基于模拟的数据收集，以及在机器人和模拟之间进行迁移学习的方法。其中一些论文包括《基于机器人的数据收集：一种快速学习的方法》和《基于模拟的数据收集：从仿真到真实世界的过渡》。