Empowering Large Language Models on Robotic Manipulation with Affordance Prompting

虽然大型语言模型（LLM）在完成各种语言处理任务方面非常成功，但它们很容易在生成控制序列时与物理世界交互失败。我们发现主要原因在于LLM没有与物理世界接轨。现有的基于LLM的方法通过依赖额外的预定义技能或预训练的子策略来绕过这个问题，使得适应新任务变得困难。相反，我们旨在解决这个问题，并探索在无需训练的范式下提示预训练的LLM完成一系列机器人操作任务的可能性。因此，我们提出了一个名为LLM+A（ffordance）的框架，其中LLM既充当子任务规划器（生成高层次计划）又充当运动控制器（生成低层次控制序列）。为了将这些计划和控制序列与物理世界接轨，我们开发了可供性提示技术，该技术刺激LLM预测生成计划的结果并为相关对象生成可供性值。在实证方面，我们评估了LLM+A在各种语言条件下的机器人操作任务中的有效性，结果表明，我们的方法通过增强生成计划和控制的可行性显著提高了性能，并且可以轻松地推广到不同的环境中。

解决问题：论文试图解决LLMs在物理世界中生成控制序列困难的问题，提出LLM+A(ffordance)框架，实现语言指导下的机器人操作任务。

关键思路：LLM作为子任务规划器和运动控制器，通过affordance prompting技术将生成的计划和控制序列与物理世界联系起来，有效提高了任务完成的可行性和泛化性。

其他亮点：论文提出的LLM+A框架在多个语言条件下的机器人操作任务中表现出色，实验结果表明该方法可以提高生成的计划和控制序列的可行性和泛化性。论文还开源了相关代码，为后续研究提供了便利。

相关研究：最近的相关研究包括基于预定义技能或预训练子策略的LLM方法，以及基于物理仿真的机器人操作任务规划方法。相关论文包括《Learning to Navigate in Cities Without a Map》和《Learning to Simulate Complex Physics with Graph Networks》等。