Formal-LLM: Integrating Formal Language and Natural Language for Controllable LLM-based Agents

最近大型语言模型（LLM）的进展使得AI代理能够自动生成和执行多步骤计划来解决复杂任务。然而，由于LLM的内容生成过程难以控制，当前基于LLM的代理经常生成无效或不可执行的计划，这危及生成计划的性能并破坏用户对基于LLM的代理的信任。为此，本文提出了一种新颖的“Formal-LLM”框架，通过集成自然语言的表现力和形式语言的精度，为基于LLM的代理提供支持。具体而言，该框架允许人类用户将其对计划过程的要求或约束表达为自动机。然后，在自动机的监督下进行基于堆栈的LLM计划生成过程，以确保生成的计划满足约束条件，使计划过程可控。我们在基准任务和实际生活任务上进行了实验，我们的框架实现了超过50％的整体性能提升，验证了采用Formal-LLM指导代理的计划生成的可行性和有效性，防止代理生成无效和不成功的计划。此外，更可控的基于LLM的代理可以促进LLM在需要高计划有效性的应用场景中的广泛使用。该工作已在https://github.com/agiresearch/Formal-LLM上开源。

解决问题：如何使基于大语言模型（LLM）的智能代理生成的计划可控性更强，避免生成无效或不可执行的计划，提高应用场景的规划有效性？

关键思路：提出了一种新的“Formal-LLM”框架，将自然语言的表达能力与形式语言的精度相结合，通过自动机来约束LLM生成的计划，从而保证计划的可控性和正确性。

亮点：实验结果表明，与传统的LLM相比，使用Formal-LLM框架生成的计划性能提高了50%以上。同时，该工作还提供了开源代码，为其他研究者提供了参考和实验基础。

相关研究：在该领域的相关研究包括：《A Survey of Planning with Uncertainty》、《Planning under Uncertainty in Autonomous Systems: A Review》等。