MMAU: A Holistic Benchmark of Agent Capabilities Across Diverse Domains

最近大型语言模型的进展增加了对全面基准测试的需求，以评估它们作为类人代理的能力。现有的基准测试虽然有用，但通常专注于特定的应用场景，强调任务完成而未对驱动这些结果的基本技能进行深入分析。这种缺乏细粒度使得深入分辨失败的原因变得困难。此外，设置这些环境需要相当大的努力，并且在交互式任务中有时会出现不可靠性和可重复性问题。为了解决这些限制，我们介绍了 Massive Multitask Agent Understanding (MMAU) 基准测试，它包括全面的离线任务，消除了复杂环境设置的需求。它评估了五个领域内的模型，包括工具使用、有向无环图 (DAG) 问答、数据科学和机器学习编码、竞赛级编程和数学，并涵盖了五个基本能力：理解、推理、规划、解决问题和自我纠正。MMAU 具有 20 个精心设计的任务，涵盖了 3K 个不同的提示，为评估 LLM 代理的优势和局限提供了全面的框架。通过在 MMAU 上测试 18 个代表性模型，我们提供了深入而有见地的分析。最终，MMAU 不仅揭示了 LLM 代理的能力和局限，还增强了其性能的可解释性。MMAU 的数据集和评估脚本发布在 https://github.com/apple/axlearn/tree/main/docs/research/mmau。

论文旨在提供一个全面的基准测试框架，以评估大型语言模型（LLMs）在人类化智能代理方面的能力。现有的基准测试虽然有用，但往往专注于特定的应用场景，强调任务完成而忽略推动这些结果的基本技能。这种缺乏细节使得深入分析失败的根源变得困难。

该论文提出了一个名为MMAU的基准测试框架，涵盖了五个领域，包括工具使用、有向无环图（DAG）QA、数据科学和机器学习编码、竞赛级编程和数学，并涵盖了五种基本能力：理解、推理、规划、解决问题和自我纠正。MMAU提供了一个全面的离线任务框架，消除了复杂环境设置的需要。

该论文提供了一个全面的离线任务框架，消除了复杂环境设置的需要。MMAU涵盖了五个领域，包括工具使用、有向无环图（DAG）QA、数据科学和机器学习编码、竞赛级编程和数学，并涵盖了五种基本能力：理解、推理、规划、解决问题和自我纠正。作者测试了18个代表性模型，并提供了深入的分析。

最近在这个领域中，还有一些相关的研究，例如：GPT-3，Turing-NLG，ELI5等。