Planning-Guided Diffusion Policy Learning for Generalizable Contact-Rich Bimanual Manipulation

接触丰富的双臂操作涉及两只手臂的精确协调，通过战略性选择的接触点和动作来改变物体的状态。由于这些任务固有的复杂性，获取足够的演示数据以及训练能够泛化到未见过场景的策略仍然是一个尚未完全解决的挑战。基于最近在通过接触进行规划方面的进展，我们引入了一种通用规划引导的扩散策略学习方法（GLIDE），该方法通过利用基于模型的动作规划器在高保真物理仿真中生成演示数据，从而有效地学习解决接触丰富的双臂操作任务。通过在随机环境中高效规划，我们的方法为涉及各种物体和变换的任务生成了大规模且高质量的合成运动轨迹。然后，我们使用这些演示通过行为克隆训练一个任务条件下的扩散策略。为了应对从模拟到现实的差距，我们在特征提取、任务表示、动作预测和数据增强方面提出了一系列关键设计选项，这些选项使学习能够稳健地预测平滑的动作序列并泛化到未见过的场景。通过在模拟和现实世界中的实验，我们证明了我们的方法可以使双臂机器人系统有效操纵具有不同几何形状、尺寸和物理属性的物体。网站：https://glide-manip.github.io/

该论文旨在解决接触丰富的双臂操作任务中的两个主要挑战：获取足够的演示数据和训练能够泛化到未见过场景的策略。这是一个长期存在的难题，尤其是在处理复杂任务时。

论文提出了一种名为Generalizable Planning-Guided Diffusion Policy Learning (GLIDE)的方法，通过结合基于模型的运动规划器在高保真物理仿真中生成演示数据，再利用这些数据通过行为克隆训练一个条件化的扩散策略。这一方法创新地将规划与学习相结合，提高了数据质量和泛化能力。

1. 通过高效的随机环境规划，生成大规模、高质量的合成运动轨迹，涵盖多样化的对象和变换。 2. 提出了一系列设计选项，包括特征提取、任务表示、动作预测和数据增强，以应对模拟到现实的差距。 3. 实验表明，该方法能够在模拟和真实环境中使双臂机器人系统有效地操纵不同几何形状、尺寸和物理特性的物体。 4. 网站提供了更多详细信息：https://glide-manip.github.io/。

1. "Learning Dexterous In-Hand Manipulation" - 这篇论文探讨了灵巧的手部操作，但主要集中在单手操作上。 2. "Planning and Learning for Robotic Manipulation with Contact Constraints" - 该研究关注了接触约束下的规划与学习，但没有涉及双臂协同操作。 3. "Diffusion Models Beat GANs on Image Synthesis" - 尽管不是直接相关，但扩散模型在图像生成中的成功为本研究中使用扩散策略提供了理论支持。 4. "Simulation-to-Real Transfer for Robotic Manipulation Tasks" - 探讨了从模拟到现实的迁移问题，与本研究中的sim-to-real差距解决方法有交集。