Language-Guided Object-Centric Diffusion Policy for Collision-Aware Robotic Manipulation

学习演示面临着超出训练数据的泛化问题，即使是轻微的视觉变化也会导致脆弱性。为了解决这个问题，我们介绍了Lan-o3dp，一种语言引导的物体中心扩散策略，它以任务相关物体的3D表示为条件输入，并可以在推理时由成本函数引导以满足安全约束。Lan-o3dp在各个方面都具有强大的泛化能力，例如背景变化、视觉模糊以及可以避免演示过程中未见过的新障碍物。具体而言，我们首先训练一个以目标物体的点云为条件的扩散策略，然后利用大型语言模型将用户指令分解为由目标物体和障碍物组成的任务相关单元，这些单元可以用作策略网络的视觉观察或转换为成本函数，引导生成朝着无碰撞区域的轨迹。我们提出的方法在模拟实验中显示出训练效率和更高的成功率，与基线相比具有更好的表现。在真实世界实验中，我们的方法表现出对未见实例、杂乱场景、多个相似物体场景的强大泛化性能，并展示了无需训练的避障能力。

论文旨在解决学习从演示中的一些挑战，如泛化能力差和对轻微视觉变化的脆弱性，同时能够在测试时遵循安全约束。

论文提出了Lan-o3dp，一种语言引导的物体中心扩散策略，该策略以任务相关物体的3D表示作为条件输入，并可以在推理时由成本函数引导以满足安全约束。

论文的方法能够在各个方面实现强大的泛化，如背景变化，视觉模糊以及避免在演示过程中未见过的新障碍物。实验结果表明，与基线相比，论文的方法具有更高的成功率和训练效率，并且在实际场景中表现出了强大的泛化能力和避障能力。

在这个领域中，最近的相关研究包括Learning from Demonstrations with Contrastive Tasks for Manipulation和Learning to Learn from Demonstrations Using Human Feedback等。