Language-Guided Object-Centric Diffusion Policy for Collision-Aware Robotic Manipulation

学习演示面临着超越训练数据的泛化问题，并且即使是轻微的视觉变化也容易出错。为了解决这个问题，我们引入了Lan-o3dp，一种语言引导的物体中心扩散策略，它以任务相关物体的3D表示作为条件输入，并且可以在推理时通过成本函数进行安全约束的指导。Lan-o3dp在各个方面都具有强大的泛化能力，例如背景变化、视觉模糊以及可以避免在演示过程中未见过的新障碍物。具体来说，我们首先训练一个以目标物体的点云为条件的扩散策略，然后利用一个大型语言模型将用户指令分解成由目标物体和障碍物组成的任务相关单元，这些单元可以用作策略网络的视觉观察或转换为成本函数，指导生成朝向无碰撞区域的轨迹。我们提出的方法在模拟实验中表现出训练效率和更高的成功率，与基线相比。在真实世界的实验中，我们的方法表现出对未见过实例、杂乱的场景、多个相似物体的场景的强大泛化性能，并展示了避免障碍物的无需训练的能力。

论文旨在解决学习从演示中的泛化问题，尤其是在面对轻微视觉变化时的脆弱性。该论文提出了一种基于语言指导的物体中心扩散策略，以目标对象的3D表示作为条件输入，并可以在推理时受到安全约束的成本函数的指导。

该论文的关键思路是使用语言指导的物体中心扩散策略，以目标对象的3D表示作为条件输入，然后使用大型语言模型将用户指令分解成任务相关单位，这些单位包括目标对象和障碍物。这些单位可以用作策略网络的视觉观察或转换为成本函数，指导生成向无碰撞区域的轨迹。

该论文的亮点包括：1.使用语言指导的物体中心扩散策略可以在面对各种方面的强大泛化性能，如背景变化、视觉模糊和可以避免在演示过程中看不见的新障碍物。2.该方法在模拟实验中表现出高效的训练效率和更高的成功率。3.在真实世界的实验中，该方法展示了对未见实例、杂乱的场景、多个相似对象的场景的强大泛化性能，并展示了无需训练的避障能力。

最近在这个领域中，还有一些相关的研究，如：1.《Learning to Learn from Demonstrations》；2.《Learning to Generalize from Sparse and Underspecified Rewards》；3.《Learning to Simulate Dynamic Environments with GameGAN》。