Flow as the Cross-Domain Manipulation Interface

我们提出了Im2Flow2Act，这是一个可扩展的学习框架，使机器人能够从不同的数据源中获取操作技能。 Im2Flow2Act的关键思想是使用对象流作为操作接口，桥接不同实体（即人类和机器人）和训练环境（即真实世界和模拟环境）之间的领域差距。 Im2Flow2Act由两个组件组成：流生成网络和流条件策略。流生成网络在人类演示视频上进行训练，从初始场景图像生成对象流，并根据任务描述进行条件限制。流条件策略在模拟机器人玩耍数据上进行训练，将生成的对象流映射到机器人动作，实现所需的对象移动。通过使用流作为输入，该策略可以直接在真实世界中部署，具有最小的模拟到真实差距。通过利用真实世界的人类视频和模拟机器人玩耍数据，我们绕过了在真实世界中远程操作物理机器人的挑战，从而实现了一个可扩展的多样化任务系统。我们展示了Im2Flow2Act在各种真实世界任务中的能力，包括刚性、关节和可变形物体的操作。

本论文旨在提出一种可扩展的学习框架，使机器人能够从不同的数据源中获得操作技能，以解决现有方法在不同领域之间存在的差距问题，如人类和机器人之间的差距以及真实世界和模拟环境之间的差距。

论文提出了Im2Flow2Act框架，利用对象流作为操作接口，通过两个组件实现技能学习：流生成网络和流条件策略。流生成网络从人类演示视频中学习并生成对象流，而流条件策略则从模拟机器人玩耍数据中学习并将对象流映射到机器人动作，从而实现所需的对象移动。

论文使用了真实世界的人类视频和模拟机器人玩耍数据，绕过了在真实世界中遥控物理机器人的挑战，从而实现了可扩展的系统。论文在多种真实世界任务中展示了Im2Flow2Act的能力，包括刚性、关节和可变形物体的操作。论文还提供了开源代码。

在这个领域中，还有一些相关的研究，如基于强化学习的机器人操作、基于视觉的机器人操作等。