AIMO-2 Winning Solution: Building State-of-the-Art Mathematical Reasoning Models with OpenMathReasoning dataset

本文介绍了我们在人工智能数学奥林匹克竞赛——进步奖第二阶段（AIMO-2）中的获奖提交成果。我们构建领先的数学推理模型的方法依赖于三个关键支柱。首先，我们创建了一个大规模数据集，包含54万道独特的高质量数学问题，其中包括奥林匹克级别的难题，以及它们对应的320万份长链条推理解答。其次，我们开发了一种新方法，通过迭代训练、生成和质量过滤，将代码执行与长链条推理模型相结合，从而生成了170万份高质量的工具集成推理解决方案。第三，我们设计了一条管道，用于训练模型从多个候选解中选择最有希望的解答。我们证明，这种生成式解选择（GenSelect）方法可以显著优于多数投票基线。结合这些理念，我们训练了一系列在数学推理基准测试中达到最先进水平的模型。为了推动进一步的研究，我们以商业友好的许可方式开源了我们的代码、模型以及完整的OpenMathReasoning数据集。

该论文试图解决如何构建能够在数学推理任务中达到顶尖水平的人工智能模型的问题，特别是针对需要长链条逻辑推理和代码执行的奥赛级别问题。这是一个具有挑战性的问题，但并非全新领域，而是对现有数学推理模型性能的进一步提升。

论文提出了三个关键思路：1) 构建了一个包含54万道高质量数学题及其320万解答的大规模数据集；2) 开发了一种结合代码执行与推理模型的迭代训练方法，生成了170万高质量的工具辅助推理解决方案；3) 设计了一种生成式解法选择（GenSelect）机制，用于从多个候选解法中挑选最优解。这些方法在数学推理领域引入了更精细的数据处理与更高效的模型优化策略。

论文的主要亮点包括：1) 提供了一个开放且商业友好的大规模数据集OpenMathReasoning，涵盖了奥赛级别的难题；2) 验证了通过代码执行增强推理能力的有效性；3) GenSelect机制显著优于多数投票基线方法；4) 所有代码、模型和数据集均已开源，为后续研究提供了坚实基础。未来可以深入研究更复杂的数学问题以及跨领域推理能力。

近期相关研究包括：1)《Chain of Thought Prompting Elicits Reasoning in Large Language Models》探讨了大语言模型在数学推理中的链式思维能力；2)《Learning to Solve Mathematical Word Problems with Generative Pretraining》研究了预训练模型在数学应用题上的表现；3)《ToolbenchR: A Framework for Building Reasoning Agents with Programmable Tools》提出了一种可编程工具框架以增强推理能力。此外，《DeepMind Mathematics Dataset》也致力于提高AI在数学问题上的泛化能力。