Robust Planning with LLM-Modulo Framework: Case Study in Travel Planning

随着大型语言模型（LLMs）的适用范围超越传统的文本处理任务，人们对它们在规划和推理任务中表现出色的潜力产生了浓厚的兴趣，这些领域通常是系统2认知能力的专属领域。尽管它们被认为具有多功能性，但研究界仍在揭示有效的策略，以在这些复杂领域中利用这些模型。本文介绍了LLM Modulo的讨论，提出了一个概念框架，增强了LLMs在各种规划和推理活动中的整合。本文深入探讨了该框架在旅游规划领域中的实际应用，提供了其实现的具体实例。我们使用OSU NLP组的Travel Planning基准测试，该基准测试评估LLMs在基于用户以自然语言提出的查询生成有效行程方案方面的性能。虽然增强LLMs推理能力的流行方法（如Chain of Thought、ReAct和Reflexion）在GPT3.5-Turbo上分别只能达到0％、0.6％和0％，但我们对LLM-Modulo框架在TravelPlanning领域的操作实现提供了显着的改进，将基线性能提高了4.6倍，对于旧模型如GPT3.5-Turbo，提高了从0％到5％。此外，我们还强调了LLMs在规划流程中的其他有用角色，如LLM-Modulo所建议的，可靠地实现，如有用评论的提取和评论的重构器。

本论文试图探讨如何更好地将大型语言模型（LLMs）应用于规划和推理任务，特别是在旅行规划领域中的应用。同时，论文也提出了一种新的概念框架（LLM-Modulo），以帮助更好地整合LLMs。

论文的关键思路是使用LLM-Modulo框架来增强LLMs在旅行规划领域中的应用，从而提高其性能。该框架包括了多种方法，如提取有用的评论和评论重构器等。

论文使用OSU NLP组的旅行规划基准测试来评估LLMs的性能，并提出了一种新的框架（LLM-Modulo）来增强LLMs在规划和推理任务中的应用。实验结果表明，使用LLM-Modulo框架可以将基线性能提高4.6倍，对于较老的模型如GPT3.5-Turbo，性能从0％提高到5％。此外，论文还探讨了LLMs在规划管道中的其他有用角色。

近期相关研究包括Chain of Thought、ReAct和Reflexion等方法，但它们在GPT3.5-Turbo上的表现仅为0％，0.6％和0％。