MultiAgentBench: Evaluating the Collaboration and Competition of LLM agents

大型语言模型（LLMs）作为自主代理展示了非凡的能力，但现有的基准测试要么专注于单个代理任务，要么局限于狭窄的领域，无法捕捉多代理协调和竞争的动态。在本文中，我们介绍了MultiAgentBench，这是一个全面的基准测试框架，旨在评估基于LLM的多代理系统在多样化的互动场景中的表现。我们的框架不仅衡量任务完成情况，还使用新颖的、基于里程碑的关键绩效指标来评估协作和竞争的质量。此外，我们评估了各种协调协议（包括星型、链型、树型和图结构拓扑）以及创新策略，如小组讨论和认知规划。值得注意的是，gpt-4o-mini 在任务得分上达到了平均最高分，在研究场景中，图结构在协调协议中表现最佳，而认知规划使里程碑达成率提高了3%。代码和数据集可在 https://github.com/MultiagentBench/MARBLE 公开获取。

该论文试图解决大型语言模型（LLM）在多代理系统中的评估问题，特别是针对多代理协作和竞争的动态特性。现有的基准测试要么专注于单一代理任务，要么局限于狭窄领域，无法全面反映多代理系统的复杂性。这是否是一个新问题？是的，因为当前大多数研究和基准测试没有充分考虑多代理互动的具体挑战。

论文的关键思路是引入MultiAgentBench，一个全新的、综合性的基准框架，用于评估基于LLM的多代理系统在多样化交互场景中的表现。与现有研究相比，该框架不仅关注任务完成情况，还特别强调了合作质量和竞争水平，并使用创新的里程碑式关键绩效指标进行衡量。此外，它还评估了不同的协调协议（如星型、链式、树状和图结构）以及诸如群体讨论和认知规划等策略。

论文设计了一系列实验来测试不同类型的协调协议和策略对任务完成的影响。例如，gpt-4o-mini在平均任务得分上表现最佳，而图结构在研究场景中表现出色。值得注意的是，认知规划使里程碑达成率提高了3%。所有代码和数据集均已开源，可在GitHub上获取，这为未来的研究提供了宝贵的资源。值得继续深入研究的方向包括但不限于优化特定类型的任务分配机制、探索更复杂的代理间通信模式等。

最近在这个领域内的相关研究还包括：1. 'Evaluating Multi-Agent Systems in Dynamic Environments' - 探讨了动态环境中多代理系统的性能评估；2. 'Cooperative and Competitive Multi-Agent Systems' - 分析了合作与竞争环境下的多代理系统行为；3. 'Benchmarking Multi-Agent Reinforcement Learning Algorithms' - 提出了针对强化学习算法的多代理基准测试方法。