Evaluating Mathematical Reasoning Beyond Accuracy

本文介绍了一种新的评估方法 ReasonEval，用于评估大型语言模型在数学任务中的推理质量。传统的评估方法只关注最终结果，而忽略了推理过程中的中间步骤，这可能掩盖了潜在的问题，如逻辑错误或冗余步骤。ReasonEval 通过“有效性”和“冗余性”来表征推理质量，并配备相应的大型语言模型来自动评估。在数学领域的评估中，ReasonEval 可以准确检测各种类型的误差，并发现提高最终答案准确率并不一定能够改善推理步骤的整体质量。此外，ReasonEval 在数据选择方面也具有重要作用。最终，本文释放了最佳模型、元评估脚本和所有评估结果，可在 https://github.com/GAIR-NLP/ReasonEval 上获取。

本论文旨在解决大型语言模型在数学任务中仅关注最终结果，忽略中间步骤质量的问题。作者提出了一种新的评估方法来评估推理质量，即ReasonEval。论文试图验证这种方法是否可以更全面地评估大型语言模型在数学任务中的推理能力。

论文提出了一种新的评估方法，即ReasonEval，通过有效性和冗余性来评估推理质量，并配合使用大型语言模型来进行自动评估。在高质量标注数据的基础模型和训练下，ReasonEval 在人工标注的数据集上实现了最先进的性能，并可以准确地检测由扰动产生的不同类型的错误。在评估专门用于数学的大型语言模型时，我们发现最终答案准确性的提高并不一定意味着推理步骤的整体质量有所提高。

论文的亮点包括：1. 提出了一种新的评估方法ReasonEval，可以更全面地评估大型语言模型在数学任务中的推理能力。2. ReasonEval 在人工标注的数据集上实现了最先进的性能，并可以准确地检测不同类型的错误。3. 论文发现，最终答案准确性的提高并不一定意味着推理步骤的整体质量有所提高。4. ReasonEval 可以在数据选择方面发挥重要作用。论文在 https://github.com/GAIR-NLP/ReasonEval 上公开了最佳模型、元评估脚本和所有评估结果。

最近在这个领域中，还有一些相关研究。例如，Kushman 等人提出了一种名为 DROP 的数据集和评估方法，旨在评估推理和计算机程序的能力。Lin 等人提出了一种名为 MathQA 的数据集，用于评估数学问题的推理和解决能力。