Sibyl: Simple yet Effective Agent Framework for Complex Real-world Reasoning

现有的基于大型语言模型（LLMs）的代理程序通过将LLMs内在的知识、强大的上下文学习和零-shot能力与人类精心设计的LLM调用工作流程相结合，展示了强大的问题解决能力。然而，这些代理程序仍然存在长期推理方面的缺陷，并且未充分利用现有工具的潜力，导致在复杂的现实推理场景中存在明显的缺陷。为了解决这些限制，我们介绍了Sibyl，这是一个简单而强大的基于LLM的代理框架，旨在通过高效地利用最少量的工具来处理复杂的推理任务。受全局工作空间理论的启发，Sibyl引入了全局工作空间，以增强整个系统中知识和对话历史的管理和共享。此外，受心智社会理论的指导，Sibyl实现了一个基于辩论的多代理评审来自我完善最终答案，确保全面和平衡的方法。这种方法旨在降低系统复杂性，同时扩大可解决问题的范围，从通常需要人类几分钟解决的问题到需要几个小时甚至几天解决的问题，从而促进从系统1思维到系统2思维的转变。Sibyl的设计重点是可伸缩性和易于调试，从一开始就将函数式编程的可重入性概念纳入其中，旨在与其他LLM应用程序无缝且低成本地集成，以提高能力。我们在GAIA基准测试集上的实验结果表明，使用GPT-4实例化的Sibyl代理程序实现了34.55％的平均得分，比其他基于GPT-4的代理程序表现更好。我们希望Sibyl能够激发更可靠和可重复使用的基于LLM的代理解决方案，以应对复杂的现实推理任务。

论文试图设计一个简单但强大的基于大型语言模型的智能代理框架，以解决长期推理和工具利用不足的问题，并扩展解决问题的范围。

Sibyl框架包括全局工作空间和多代理辩论式陪审团，以增强知识和对话历史的管理和共享，并自我完善最终答案，从而实现对复杂推理任务的高效处理。

论文实现了实验，使用了GAIA基准测试集，Sibyl代理与GPT-4的平均得分为34.55％，表现出优异的性能。Sibyl还具有可扩展性和易于调试的特点，并采用函数编程的可重入性概念，以实现与其他LLM应用的无缝集成。

最近的相关研究包括基于大型语言模型的代理，如GPT-3和GShard，以及其他智能代理框架，如OpenAI Gym和DeepMind Control Suite。