Agent Planning with World Knowledge Model

近期的尝试直接使用大型语言模型（LLMs）作为代理模型执行交互式规划任务已经取得了可喜的成果。尽管取得了成就，但是它们仍然在全局规划中面临盲目的试错和在局部规划中生成幻觉性动作，这是由于它们对“真实”物理世界的理解不足。本文模仿人类的心理世界知识模型，该模型在任务之前提供全局先验知识并在任务期间保持局部动态知识，引入参数化的世界知识模型（WKM）来促进代理规划。具体来说，我们引导代理模型从专家和样本轨迹中自我合成知识。然后，我们开发了WKM，提供先前的任务知识来指导全局规划，并提供动态状态知识来协助局部规划。在三个复杂的真实世界模拟数据集上进行的实验结果表明，我们的方法可以实现比各种强基线方法更优异的性能，使用了三种最先进的开源LLMs，即Mistral-7B、Gemma-7B和Llama-3-8B。此外，我们分析说明了我们的WKM可以有效地缓解盲目的试错和幻觉性动作问题，为代理对世界的理解提供了有力的支持。其他有趣的发现包括：1）我们的实例级任务知识可以更好地推广到未见过的任务，2）弱WKM可以引导强代理模型规划，3）统一的WKM训练具有进一步发展的潜力。代码将在https://github.com/zjunlp/WKM上提供。

本文旨在解决大语言模型在执行交互式计划任务时面临的试错和产生幻觉动作的问题，提出了使用参数化世界知识模型来辅助代理规划的方法。

论文提出了使用专家和采样轨迹自合成知识来开发世界知识模型（WKM），提供先前的任务知识来指导全局规划和动态状态知识来辅助局部规划。

论文使用了三个复杂的真实世界模拟数据集和三种最先进的开源LLMs进行实验，结果表明我们的方法可以优于各种强基线。实验结果还表明我们的WKM可以有效地缓解盲目的试错和产生幻觉动作的问题。此外，论文还发现，我们的任务知识可以更好地推广到未见过的任务，弱WKM可以指导强代理模型规划，统一的WKM培训具有进一步发展的潜力。

最近的相关研究包括使用大型语言模型进行交互式计划任务的尝试，以及使用各种知识表示形式来辅助代理规划。相关论文包括：“Large-scale Language Model-based Planning”和“Knowledge-Augmented Language Model for End-to-End Task-Oriented Dialogue System”。