数学推理是人类智能的关键体现，它使我们能够理解并做出基于数值数据和语言的决策。数学推理适用于各个领域，包括科学、工程、金融和日常生活，并包含一系列能力，诸如从模式识别、数字运算等基本技能到解决问题、逻辑推理和抽象思维等高级技能。

长期以来，开发能够解决数学问题、证明数学定理的 AI 系统是机器学习和自然语言处理领域的研究重点。这也可以追溯到 20 世纪 60 年代。在深度学习兴起的近十年，人们对这一领域的兴趣更是大幅增长：

 

图 1：每年发表的关于数学推理的深度学习论文的预估数量。自 2018 年以来，这一领域经历了快速增长。

深度学习在各种自然语言处理任务中显示出巨大的成功，如问题回答和机器翻译。同样，研究人员开发了各种用于数学推理的神经网络方法，这些方法在处理应用题、定理证明和几何问题解决等复杂任务时已被证明是有效的。例如，基于深度学习的应用题求解器采用了一个序列到序列的框架，并以注意力机制作为中间步骤生成数学表达式。此外，通过大规模语料库和 Transformer 模型，预训练的语言模型在各种数学任务上取得了可喜的成果。最近，像 GPT-3 这样的大型语言模型在复杂推理和语境学习中表现出令人印象深刻的能力，进一步推动了数学推理领域的发展。

近期发布的一篇报告中，来自 UCLA 等机构的研究者系统回顾了深度学习在数学推理方面的进展。

 

论文链接：https://arxiv.org/pdf/2212.10535.pdf

项目地址：https://github.com/lupantech/dl4math

本文讨论了各种任务和数据集（第 2 节），并研究了神经网络（第 3 节）和预训练语言模型（第 4 节）在数学领域的进展。此外还探讨了大型语言模型的上下文学习在数学推理中的快速发展（第 5 节）。文章进一步分析了现有的基准，发现对多模态和低资源环境的关注较少（第 6.1 节）。基于循证的研究表明，目前的计算能力表征是不充分的，深度学习方法在数学推理方面也是不一致的（第 6.2 节）。随后，作者建议在概括性和鲁棒性、可信推理、从反馈中学习和多模态数学推理方面改进目前的工作（第 7 节）。

 

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除