OKAMI: Teaching Humanoid Robots Manipulation Skills through Single Video Imitation

我们研究了通过模仿单个视频演示来教授人形机器人操作技能的问题。我们介绍了OKAMI，一种从单个RGB-D视频生成操纵计划并推导执行策略的方法。我们方法的核心是具有对象感知能力的重定向，它使得人形机器人可以在RGB-D视频中模仿人类动作，同时在部署过程中适应不同的物体位置。OKAMI使用开放世界视觉模型来识别任务相关的对象，并分别重定向身体动作和手部姿势。我们的实验表明，OKAMI在不同的视觉和空间条件下实现了强大的泛化能力，优于开放世界观察模仿的最先进基线。此外，OKAMI的轨迹被用来训练闭环视觉运动策略，这些策略无需繁琐的遥操作即可实现平均成功率为79.2%。更多视频可以在我们的网站https://ut-austin-rpl.github.io/OKAMI/上找到。

论文旨在通过从单个视频演示中进行模仿来教授人形机器人操作技能。具体而言，通过对象感知的重新定位，使机器人能够在执行任务时模仿人类动作并适应不同的物体位置。

论文提出了一种名为OKAMI的方法，该方法可以从单个RGB-D视频生成操作计划，并推导出执行策略。其中的关键在于对象感知的重新定位，该方法使得机器人能够在部署过程中模仿RGB-D视频中的人类动作，同时可以针对不同的物体位置进行调整。

实验结果表明，OKAMI在不同的视觉和空间条件下实现了强大的泛化能力，优于开放世界观察模仿的现有基线。此外，OKAMI的轨迹还用于训练闭环视觉运动策略，其平均成功率达到了79.2％，无需进行繁琐的远程操作。论文还提供了开源代码和数据集。

在这个领域中，最近的相关研究包括：《End-to-End Learning of Object Grasping for a Humanoid Robot Using Deep Convolutional Neural Networks》、《Learning Object Grasping for Humanoid Robots from Human Demonstrations》等。