LLM3:Large Language Model-based Task and Motion Planning with Motion Failure Reasoning

传统的任务和运动规划（TAMP）方法依赖于手动制作的接口，将符号任务规划与连续运动生成相连接。这些面向特定领域且劳动密集的模块在解决现实世界中出现的任务方面存在局限性。在这里，我们介绍LLM^3，一种基于大型语言模型（LLM）的TAMP框架，具有领域无关的接口。具体而言，我们利用预训练LLM的强大推理和规划能力，提出符号动作序列并选择运动规划的连续动作参数。关键是，LLM^3通过提示将运动规划反馈融入其中，使LLM能够通过推理运动失败来迭代地改进其提议。因此，LLM^3在任务规划和运动规划之间建立了接口，减轻了处理它们之间领域特定消息的复杂设计过程。通过在装箱领域的一系列模拟中，我们定量地证明了LLM^3在解决TAMP问题和选择动作参数方面的有效性。消融研究强调了运动失败推理对LLM^3成功的重要贡献。此外，我们在物理操纵器上进行了定性实验，展示了我们的方法在现实世界中的实际适用性。

论文致力于解决传统TAMP方法中手动设计领域特定接口的问题，提出了一种基于大型语言模型的TAMP框架LLM^3，旨在实现领域无关的接口，解决实际环境中新兴任务的问题。

LLM^3利用预训练的LLM的强大推理和规划能力，提出符号动作序列并选择运动规划的连续动作参数，通过提示将运动规划反馈到LLM中，从而迭代地完善方案。LLM^3在任务规划和运动规划之间建立了接口，减轻了处理它们之间领域特定信息的复杂设计过程。

论文通过在箱装领域的一系列仿真实验中量化证明了LLM^3在解决TAMP问题和选择动作参数方面的有效性和效率。论文还进行了消融研究，强调了运动失败推理对LLM^3成功的重要贡献。此外，论文还进行了在物理机械臂上的定性实验，展示了该方法在实际环境中的实用性。

最近的相关研究包括基于深度学习的TAMP方法，如DART、DLF-Planner、DUPLEX等。