LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks

在规划和推理任务中，人们对于大型语言模型（LLMs）的作用存在相当大的混淆。一方面，有过于乐观的声称LLMs可以通过恰当的提示或自我验证策略来完成这些任务。另一方面，则存在过于悲观的声称LLMs在规划/推理任务中只能作为问题规范的翻译器，将问题转移到外部符号求解器中的说法。在这篇立场论文中，我们认为这两种极端都是误导性的。我们认为自回归LLMs本身无法完成规划或自我验证（这毕竟是一种推理形式），并阐述了文献误解的原因。我们还将论证，LLMs应被视为通用的近似知识源，在规划/推理任务中有更有意义的作用，超越了简单的前端/后端格式转换器的角色。我们提出了LLM-模块框架的愿景，将LLMs的优势与外部基于模型的验证器在更紧密的双向交互机制中结合起来。我们将展示如何借助LLMs获取驱动外部验证器的模型。我们还将论证，与仅仅将LLMs和符号组件串联起来相比，这种LLM-模块框架提供了更好的神经符号方法，可以在LLMs和符号组件之间提供更紧密的集成，并允许将基于模型的规划/推理范围扩展到更灵活的知识、问题和偏好规范。

论文试图探讨大型语言模型在规划和推理任务中的作用和局限性，并提出LLM-Modulo框架来更好地整合LLMs和符号组件。

LLMs不能单独完成规划和自我验证任务，但可以作为通用的近似知识源，与外部基于模型的验证器结合使用。LLM-Modulo框架提供了更好的神经符号方法，允许更灵活的知识、问题和偏好规范，并扩展了模型驱动的规划/推理范围。

该论文提出了LLM-Modulo框架，介绍了LLMs与外部符号组件的更紧密的相互作用方式，并展示了如何使用LLMs获取驱动外部验证器的模型。实验使用了不同的数据集来验证框架的有效性，并提出了未来研究的方向。

最近的相关研究包括基于神经网络和符号系统的混合方法，以及使用LLMs进行自我监督学习的工作。