Vision-based Manipulation from Single Human Video with Open-World Object Graphs

我们提出了一种以物体为中心的方法，赋予机器人从人类视频中学习基于视觉的操作技能的能力。我们研究了在开放世界环境下从单个人类视频中模仿机器人操作的问题，其中机器人必须从一个视频演示中学习操作新物体。我们引入了ORION算法，通过从单个RGB-D视频中提取物体为中心的操作计划并推导出一个依赖于提取计划的策略来解决这个问题。我们的方法使机器人能够从iPad等日常移动设备捕捉的视频中学习，并将策略推广到具有不同视觉背景、摄像机角度、空间布局和新物体实例的部署环境中。我们系统地评估了我们的方法在短期和长期任务中的表现，展示了ORION在从单个人类视频中学习开放世界操作方面的有效性。视频可以在项目网站https://ut-austin-rpl.github.io/ORION-release 中找到。

论文旨在解决从单个人类视频中学习机器人操作技能的问题，包括新颖物体的操作，并在不同的视觉背景、摄像头角度、空间布局和新颖物体实例的部署环境中进行泛化。

论文提出了一种基于物体的方法，从单个RGB-D视频中提取物体中心的操作计划，并推导出一个依赖于提取计划的策略，使机器人能够从日常移动设备（如iPad）捕获的视频中学习，并将策略推广到不同的环境中。

论文提出的ORION算法能够从单个人类视频中学习机器人的操作技能，具有很好的泛化性能。实验结果表明该算法在短期和长期任务中均表现出色。论文提供了项目网站，其中包含视频和代码。

与本文相关的研究包括：DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills, Learning to Poke by Poking: Experiential Learning of Intuitive Physics, Learning to Navigate in Cities Without a Map等。