SiriuS: Self-improving Multi-agent Systems via Bootstrapped Reasoning

由大型语言模型（LLMs）驱动的多智能体AI系统越来越多地被应用于解决复杂任务。然而，这些系统通常依赖于脆弱的手动设计的提示和启发式方法，使得优化变得困难。优化多智能体系统的一个关键挑战是获取适合专门化智能体的训练数据。我们引入了SiriuS，这是一种以推理为驱动的自改进优化框架，专为多智能体系统设计。我们的方法核心是构建一个经验库：一个高质量推理轨迹的存储库。该库通过保留导致成功结果的推理步骤来建立，为优化多智能体系统提供了一个稳健的训练集。此外，我们引入了一种库增强程序，用于精炼不成功的轨迹，进一步丰富该库。SiriuS在推理和生物医学问答任务上提升了2.86%到21.88%的性能，并增强了竞争环境中的智能体协商能力。我们的结果显示，SiriuS不仅提高了多智能体系统的性能，还生成了可重用的数据，以便在未来进行自我纠正和自我对弈增强。

论文试图解决多代理AI系统在优化过程中依赖脆弱的手动设计提示和启发式方法的问题，特别是针对获取适合特定代理的训练数据这一挑战。这是一个需要新方法来改进现有系统的实际问题。

关键思路是引入了SiriuS，一个自我改进、推理驱动的优化框架，通过构建经验库（保留导致成功结果的推理步骤）和库增强程序（改进不成功的轨迹），为多代理系统提供高质量的训练集。相比现有的研究，这种方法更加自动化，并且能够持续自我优化。

论文展示了SiriuS在推理和生物医学问答任务上的性能提升，在2.86%到21.88%之间，并增强了竞争环境中的代理谈判能力。实验设计包括使用真实世界的数据集进行测试，但未提及是否开源代码。未来的研究可以集中在进一步优化经验库的质量和扩大应用范围。

最近的相关研究包括：1) 多代理系统的自适应学习；2) 使用强化学习优化代理交互；3) 自然语言处理中的代理对话优化。相关论文如《Adaptive Learning in Multi-Agent Systems》、《Optimizing Agent Interactions with Reinforcement Learning》等。