PlanGenLLMs: A Modern Survey of LLM Planning Capabilities

大型语言模型（LLMs）在生成计划方面具有巨大潜力，可以将初始世界状态转换为期望的目标状态。大量研究探索了LLMs在各种规划任务中的应用，从网页导航到旅行规划和数据库查询。然而，许多这些系统是针对特定问题定制的，这使得它们难以比较或确定新任务的最佳方法。此外，也缺乏明确和一致的评估标准。我们的综述旨在提供当前LLM规划器的全面概述，以填补这一空白。它基于Kartam和Wilkins（1990）的基础工作，并考察了六个关键性能标准：完整性、可执行性、最优性、表示能力、泛化能力和效率。对于每一项标准，我们提供了代表性作品的详细分析，并突出了它们的优点和不足。我们的论文还指出了未来的关键发展方向，使其成为实践者和希望利用LLM规划支持代理工作流程的新手的宝贵资源。

该论文试图解决大型语言模型（LLM）在规划任务中的应用评估问题，特别是如何系统性地比较不同LLM规划系统的性能。这是一个新问题，因为随着LLM的快速发展，如何有效地评估和对比这些模型在不同任务上的表现变得至关重要。

论文的关键思路是通过六个关键性能指标——完整性、可执行性、最优性、表示能力、泛化能力和效率，来系统性地评估现有的LLM规划系统。这一方法不仅提供了一个全面的评估框架，还为未来的研究提供了明确的方向。相比现有研究，这篇论文的独特之处在于它试图建立一个通用的评估标准，而不是针对特定任务进行优化。

论文的亮点包括：1) 提出了六个关键性能指标作为评估标准；2) 对代表性作品进行了深入分析，指出了它们的优缺点；3) 强调了未来研究的重要方向，如提高模型的泛化能力和效率。此外，论文没有提及具体的数据集或实验设计，也没有提到开源代码，但其提出的评估框架本身就是一个重要的贡献，值得进一步研究。

最近在这个领域中，相关的研究还包括：1) Kartam和Wilkins (1990) 的基础工作，奠定了规划领域的理论基础；2) 近年来关于LLM在特定任务（如旅行规划、数据库查询等）中的应用研究；3) 关于如何提高LLM泛化能力的研究。一些相关研究的论文标题包括《Improving Generalization in LLM-based Planning Systems》和《Evaluating LLMs for Task-Oriented Dialogue Systems》。