3D Diffusion Policy

这篇论文讨论了一种名为3D Diffusion Policy（DP3）的新型视觉模仿学习方法，它将3D视觉表示的能力与扩散策略相结合，这是一类有条件的行动生成模型。DP3的核心设计是利用紧凑的3D视觉表示，该表示是通过高效的点编码器从稀疏点云中提取的。在72个模拟任务的实验中，DP3仅需10次演示即可成功处理大多数任务，并且相对于基线方法，具有55.3％的相对改进。在4个真实机器人任务中，DP3仅需每个任务40次演示即可展示出高成功率的精密控制，并表现出出色的泛化能力，包括空间、视角、外观和实例等各个方面。有趣的是，在真实机器人实验中，DP3很少违反安全要求，而基线方法经常违反安全要求，需要人工干预。作者的广泛评估强调了3D表示在实际机器人学习中的重要性。视频、代码和数据可在https://3d-diffusion-policy.github.io上获得。

如何通过少量的演示来教授机器人复杂的技能，同时保证其稳健性和泛化性？

将3D视觉表示与扩散策略相结合，提出了一种新的视觉模仿学习方法DP3，利用紧凑的3D视觉表示从稀疏点云中提取，通过有效的点编码器实现。

在72个模拟任务中，DP3仅需10个演示就可以成功处理大多数任务，并且相对于基线方法有55.3%的相对改进；在4个真实机器人任务中，DP3仅需40个演示就可以展示出精确的控制和高达85%的成功率，并且在空间、视角、外观和实例等各个方面表现出优秀的泛化能力。此外，DP3在真实机器人实验中很少违反安全要求，而基线方法经常需要人工干预。

相关研究包括视觉模仿学习、条件生成模型和3D视觉表示等方面的研究。