Closed-Loop Visuomotor Control with Generative Expectation for Robotic Manipulation

虽然近年来机器人和具有实体化的人工智能取得了重大进展，但是将机器人用于长期任务仍然是一个巨大的挑战。大多数先前的研究坚持开环控制的哲学，并缺乏实时反馈，导致误差积累和不良的鲁棒性。一些方法试图建立反馈机制，利用像素级差异或预训练的视觉表示，但它们的功效和适应性受到限制。受经典闭环控制系统的启发，我们提出了CLOVER，这是一个闭环视觉运动控制框架，它包括反馈机制以提高自适应机器人控制。 CLOVER由一个文本条件的视频扩散模型组成，用于生成视觉计划作为参考输入，一个可测量的嵌入空间用于准确的误差量化，以及一个反馈驱动的控制器，用于从反馈中细化动作并在需要时启动重新计划。我们的框架在现实世界的机器人任务中表现出显着的进展，并在CALVIN基准测试中实现了最先进的水平，比先前的开环控制方法提高了8％。 代码和检查点维护在https://github.com/OpenDriveLab/CLOVER。

本文旨在解决机器人长期任务中的开环控制问题，提出了一种闭环视觉运动控制框架。

CLOVER是一种闭环视觉运动控制框架，包括文本条件的视频扩散模型、可测量的嵌入空间和反馈驱动控制器。

实验表明，CLOVER在现实世界的机器人任务中取得了显着进展，并在CALVIN基准测试中取得了8%的改进。代码和检查点维护在https://github.com/OpenDriveLab/CLOVER。

与此相关的研究包括利用像素级差异或预训练的视觉表示建立反馈机制的方法，以及一些开环哲学的先前技术。