Points2Plans: From Point Clouds to Long-Horizon Plans with Composable Relational Dynamics

我们提出了Points2Plans框架，它使用关系动力学模型进行可组合规划，使得机器人能够从部分视角点云中解决长时程操作任务。给定语言指令和场景的点云，我们的框架启动分层规划过程，其中语言模型生成高层次计划，采样式规划器产生符合约束的连续参数，按照高层次计划排序的操作基元。我们方法的关键在于使用关系动力学模型作为连续和符号状态和动作之间的统一接口，从而促进了从高维感知输入（如点云）进行语言驱动的规划。而以前的关系动力学模型需要在与预期测试场景相符的多步操作情景数据集上进行训练，Points2Plans仅使用单步模拟训练数据，在现实世界的评估中实现了零样本的可变步数的泛化。我们在涉及几何推理、多对象交互和遮挡对象推理的任务上在模拟和实际世界环境中评估了我们的方法。结果表明，Points2Plans在真实世界中对未见过的长时程任务具有很强的泛化能力，在评估的任务中解决了超过85％的任务，而下一个最佳基线仅解决了50％。我们提供了我们的方法在移动操作平台上的定性演示，网址为sites.google.com/stanford.edu/points2plans。

解决问题：论文试图解决从部分视角点云中解决长视距操作任务的问题。

关键思路：论文使用了一种关系动力学模型作为连续和符号表示之间的统一接口，从而实现了从高维感知输入（如点云）进行语言驱动的规划。与以往的关系动力学模型不同的是，Points2Plans仅使用单步模拟训练数据，可以在现实世界中进行零样本通用化。

其他亮点：论文在几何推理、多物体交互和遮挡物体推理等任务上进行了评估，并在模拟和实际环境中展示了其强大的通用性。实验结果表明，Points2Plans可以解决超过85%的评估任务，而下一个最好的基线只能解决50%。此外，论文提供了移动机器人平台的定性演示，并将其代码公开。

相关研究：最近的相关研究包括使用深度学习进行操作规划的工作，如《Deep Reinforcement Learning for Vision-Based Robotic Grasping: A Simulated Comparative Evaluation》和《End-to-end Learning of Semantic Grasping》。