Embodied AI with Two Arms: Zero-shot Learning, Safety and Modularity

我们提出了一个具有体现能力的AI系统，它可以接收人类的自然语言指令，并控制两只机械臂在一个大工作空间内协作完成可能需要长时间的任务。我们的系统是模块化的：它采用最先进的大语言模型进行任务规划，使用视觉-语言模型进行语义感知，使用点云变换器进行抓取。考虑到语义和物理安全性，这些模块与实时轨迹优化器和顺应控制器相互接口，以实现人机接近。我们展示了以下任务的性能：双臂分类、瓶子开启和垃圾处理任务。这些任务是零样本完成的，使用的模型没有在这个双臂机器人、场景或工作空间的任何真实数据上进行过训练。以模块化方式组合学习和非学习的组件，并提供可解释的输入和输出，使用户可以轻松调试故障和脆弱点。用户还可以在现场更换模块，以提高整个平台的鲁棒性，例如使用模仿学习的策略。

解决问题：该论文旨在解决一个具有挑战性的问题，即如何通过自然语言指令控制一个具有双臂的机器人执行复杂任务，而不需要预定义的动作序列。

关键思路：该论文提出了一种模块化的方法，结合了最先进的自然语言处理技术、视觉-语言模型和点云变换器来实现任务规划、语义感知和抓取。同时，为了确保语义和物理安全，这些模块与实时轨迹优化器和合规跟踪控制器相结合，以实现人机近距离协作。

其他亮点：该论文采用了零样本学习的方法，成功演示了双臂分类、瓶子开启和垃圾处理等任务。同时，该论文的模块化方法使用户可以轻松调试故障点和脆弱性，并可以在不影响整体平台稳健性的情况下进行模块替换，以提高平台的鲁棒性。

相关研究：最近在这个领域中，一些相关的研究包括《Embodied AI with Recurrent Generative Models》、《Vision-and-Language Navigation: Interpreting visually-grounded navigation instructions in real environments》等。