3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations

这篇文章介绍了一种名为3D Diffusion Policy（DP3）的视觉模仿学习方法，它将3D视觉表示的强大功能融入到扩散策略中，这是一类条件动作生成模型。DP3的核心设计是利用紧凑的3D视觉表示，该表示从稀疏点云中提取出来，使用高效的点编码器。在72个模拟任务的实验中，DP3只需10个演示即可成功处理大多数任务，并且相对于基线方法，具有24.2％的相对改进。在4个真实机器人任务中，DP3仅给出每个任务40个演示，就展示了精确控制和高达85％的成功率，并且在空间，视角，外观和实例等各个方面都表现出优秀的泛化能力。有趣的是，在真实机器人实验中，DP3很少违反安全要求，而基线方法经常需要人工干预。本文的广泛评估凸显了3D表示在实际机器人学习中的重要性。视频，代码和数据可在https://3d-diffusion-policy.github.io上获得。

本文试图解决通过视觉模仿学习教授机器人灵巧技能时需要大量人类演示的问题，提出了一种新的方法。

本文提出了一种名为3D Diffusion Policy（DP3）的方法，将3D视觉表示法与扩散策略相结合，从而实现用较少的演示来学习复杂技能的目标。

本文在72个仿真任务和4个真实机器人任务中进行了广泛的实验评估，结果表明DP3可以在仅有10个演示的情况下成功处理大多数任务，并且相对改进了24.2％。在真实机器人任务中，DP3表现出高达85％的高成功率和出色的泛化能力，包括空间、视角、外观和实例。此外，DP3很少违反安全要求，而基线方法经常需要人工干预。论文提供了视频、代码和数据集。

最近的相关研究包括：Learning to Learn from Demonstrations Using Deep Meta-Imitation Learning、Learning to Imitate Manipulation Style Through Semantic Label Prediction、Learning to See Physics via Visual De-animation等。