Survey on Evaluation of LLM-based Agents

大型语言模型（LLM）驱动的智能体的出现标志着人工智能领域的一次范式转变，使自主系统能够在与动态环境交互时进行规划、推理、使用工具以及维持记忆。本文首次对这些日益强大的智能体的评估方法进行了全面综述。我们系统地分析了评估基准和框架在四个关键维度上的表现：（1）智能体的基本能力，包括规划、工具使用、自我反思和记忆；（2）针对网络、软件工程、科学和对话型智能体的应用特定基准；（3）通用智能体的基准；以及（4）智能体评估框架。我们的分析揭示了一些新兴趋势，例如评估正朝着更现实、更具挑战性的方向发展，并且基准测试也在持续更新。我们还指出了未来研究必须解决的关键空白，特别是在评估成本效益、安全性、鲁棒性，以及开发精细且可扩展的评估方法方面。本综述描绘了智能体评估领域快速演变的图景，揭示了该领域的新兴趋势，明确了当前的局限性，并为未来的研究提出了方向。

该论文试图解决如何系统性评估基于大语言模型（LLM）的智能体的问题，特别是这些智能体在动态环境中表现出的自主规划、推理、工具使用和记忆管理能力。这是一个相对较新的问题，因为随着LLM技术的发展，智能体的功能和应用场景正在快速扩展。

论文的关键思路是通过四个维度全面分析现有评估方法：1）智能体的基础能力，如规划、工具使用等；2）特定应用领域的基准测试；3）通用智能体的基准测试；4）评估框架的设计。相比当前研究，这篇论文首次提供了对智能体评估方法的系统性综述，并指出了未来需要关注的方向，例如成本效益、安全性和鲁棒性的评估。

论文值得关注的地方包括：1）对新兴趋势的总结，例如更现实和动态的基准测试；2）明确指出了当前评估方法中的关键空白，如缺乏细粒度和可扩展的评估指标；3）强调了多领域应用的重要性，从网络浏览到科学发现。此外，虽然论文本身没有涉及具体实验或代码开源，但它为未来的研究提供了清晰的方向指引，尤其是在开发更高效和安全的智能体评估方法方面。

最近的相关研究包括：1）“Evaluating Large Language Models Trained on Code”探讨了代码生成任务中LLM的能力评估；2）“Benchmarking Foundation Models”提出了基础模型跨领域性能的基准测试框架；3）“ToolBench: A Framework for Evaluating Tool-Using Agents”专注于评估智能体使用外部工具的能力；4）“Safety and Robustness in AI”讨论了AI系统在实际部署中的安全性与稳健性问题。这些研究共同构成了智能体评估领域的前沿探索。