InsightBench: Evaluating Business Analytics Agents Through Multi-Step Insight Generation

数据分析对于从数据中提取有价值的见解以帮助组织做出有效决策至关重要。我们介绍了一个具有三个关键特点的基准数据集InsightBench。首先，它由31个数据集组成，代表了金融和事件管理等不同的业务用例，并且每个数据集都附带了一个精心策划的见解集。其次，与现有基准数据集侧重于回答单个查询不同，InsightBench根据代理的能力评估其执行端到端数据分析的能力，包括制定问题、解释答案以及生成见解和可行步骤的总结。第三，我们进行了全面的质量保证，以确保基准数据集中的每个数据集都有明确的目标，并包括相关和有意义的问题和分析。此外，我们还使用LLaMA-3-Eval作为有效的开源评估方法实现了双向评估机制，以评估代理提取见解的能力。我们还提出了AgentPoirot，我们的基线数据分析代理，能够执行端到端数据分析。我们在InsightBench上的评估表明，AgentPoirot优于现有方法（如Pandas Agent），后者侧重于解决单个查询。我们还比较了开源和闭源LLMs以及各种评估策略的表现。总的来说，这个基准数据集作为一个测试平台，可以激发全面数据分析的进一步发展，并且可以在这里访问：https://github.com/ServiceNow/insight-bench。

InsightBench试图解决的问题是评估数据分析代理的综合能力，包括提出问题、解释答案和生成洞察和可行步骤，并提供一个全面的基准数据集。

InsightBench的关键思路是提供一个全面的基准数据集，其中包含31个具有不同业务用例的数据集，并伴随有精心策划的洞察，以评估代理的综合数据分析能力。

论文使用LLaMA-3-Eval作为有效的开源评估方法来评估代理提取洞察的能力，并提出了AgentPoirot作为能够执行端到端数据分析的基线数据分析代理。实验结果表明，AgentPoirot优于现有的解决单个查询的方法。该基准数据集可以在GitHub上获得。

最近的相关研究主要集中在单个查询的解决方案上，如Pandas Agent。