Mamo: a Mathematical Modeling Benchmark with Solvers

数学建模是指利用数学表达式和方程式来分析、理解和预测真实世界的现象、系统或问题。由于这个过程通常需要经验丰富的专家，因此人们有兴趣探索大型语言模型（LLM）是否能够进行数学建模，以潜在地减少人力成本。为了评估LLM在数学建模方面的表现，我们引入了一个新的基准，名为Mamo，它超越了传统的结果导向评估方法。与主要根据LLM解决数学问题的准确性进行评估的传统方法不同，我们的方法提供了更深入的对建模过程本身的洞察。通过关注LLM所进行的过程而不是最终解决方案的正确性，Mamo开创了一种新的评估范式。这种转变强调了理解LLM固有的建模能力的重要性，为更加细致和全面地分析它们的问题解决策略铺平了道路。我们的工作标志着该领域的重大进展，提出了一种新的未来研究方向，强调评估LLM的建模过程而不仅仅是答案的正确性。这个基准不仅有助于更好地理解LLM的数学建模能力，而且为评估它们在复杂问题解决场景中的表现设定了新的标准。

评估大型语言模型在数学建模方面的能力

使用新的评估基准Mamo，关注语言模型在建模过程中的能力而非仅仅正确性，从而深入了解其问题解决策略

Mamo基准为评估语言模型在数学建模方面提供了新的方向，强调了建模过程的重要性，可以促进更深入的研究。实验设计详细，使用了多个数据集，论文提供了开源代码。

最近的相关研究主要集中在大型语言模型的性能评估上，例如GPT-3等。