3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations

我们提出了一种新的视觉模仿学习方法——3D扩散策略（DP3），将3D视觉表示的强大功能融入到条件动作生成模型中。DP3利用高效的点编码器从稀疏点云中提取出紧凑的3D视觉表示。在72个模拟任务的实验中，DP3仅需10次演示就能成功完成大多数任务，并且相对于基线方法，具有24.2%的相对改进。在4个真实机器人任务中，DP3在仅有40次演示的情况下展示了高成功率（85%）和出色的泛化能力，包括空间、视角、外观和实例等多个方面。有趣的是，在真实机器人实验中，DP3很少违反安全要求，而基线方法经常需要人工干预。我们的广泛评估突出了3D表示在实际机器人学习中的重要性。视频、代码和数据可在https://3d-diffusion-policy.github.io上获取。

本文旨在解决通过视觉模仿学习教授机器人熟练技能的问题，同时减少所需的人类示范数量。

本文提出了一种新的视觉模仿学习方法DP3，将3D视觉表示法与扩散策略相结合，使用高效点编码器从稀疏点云中提取紧凑的3D视觉表示法，以实现对复杂技能的高效教授。

本文在72个仿真任务和4个真实机器人任务中测试了DP3，并比较了基线方法。结果表明，DP3在仅使用10个示范时就能成功完成大多数任务，并且相对于基线方法有24.2%的相对改进。此外，DP3在各个方面都表现出优秀的泛化能力，包括空间、视角、外观和实例。在真实机器人实验中，DP3很少违反安全要求，而基线方法则经常需要人类干预。论文提供了视频、代码和数据集。

在这个领域中，还有一些相关的研究，例如：End-to-End Robotic Reinforcement Learning without Reward Engineering；Learning Dexterous In-Hand Manipulation；Learning to Poke by Poking: Experiential Learning of Intuitive Physics。