Mathematical Language Models: A Survey

近年来，在数学领域中，利用语言模型（LMs），包括预训练语言模型（PLMs）和大规模语言模型（LLMs），取得了显著进展。本文对数学LMs进行了全面调查，从任务和方法论两个不同的角度系统地分类了关键的研究努力。这个领域展示了大量提出的数学LLMs，进一步划分为指令学习、基于工具的方法、基础CoT技术和先进的CoT方法。此外，我们的调查包括编制了60多个数学数据集，包括训练数据集、基准数据集和增强数据集。本文旨在解决主要挑战并勾勒出数学LM领域未来的发展方向，被定位为一个宝贵的资源，旨在促进和激发未来致力于推动该领域发展的研究人员的创新。

本论文旨在综合评估数学领域中的语言模型（Language Models, LMs）在解决数学问题中的应用，包括预训练语言模型（Pre-trained Language Models, PLMs）和大规模语言模型（Large-scale Language Models, LLMs），并提供超过60个数学数据集的综合概述。

本文系统分类了数学LMs的关键任务和方法，包括基于指令学习、基于工具的方法、基础CoT技术和高级CoT方法，探讨了数学LMs面临的主要挑战，并提出了未来的研究方向。

本文提供了超过60个数学数据集的综合概述，包括训练数据集、基准数据集和增强数据集。此外，本文还介绍了当前数学LMs领域中的研究亮点，如实验设计、使用的数据集以及开源代码等。本文为数学LMs领域的研究者提供了宝贵的资源和灵感。

近年来，数学LMs领域的研究呈现出快速增长的趋势。相关的研究包括《MathBERT: A Pre-trained Language Model for Mathematical Text》、《MathQA: Towards Interpretable Math Word Problem Solving with Operation-Based Formalisms》等。