AlphaMath Almost Zero: process Supervision without process

最近大型语言模型（LLMs）的进展大大增强了它们的数学推理能力。然而，这些模型仍然难以处理需要多次推理步骤的复杂问题，往往导致逻辑或数字错误。虽然数值错误可以通过集成代码解释器来大大解决，但识别中间步骤中的逻辑错误更具挑战性。此外，手动注释这些步骤进行训练不仅昂贵，而且需要专业知识。在这项研究中，我们介绍了一种创新方法，通过利用蒙特卡罗树搜索（MCTS）框架自动生成过程监督和评估信号，从而消除了手动注释的需要。实际上，当LLM预训练良好时，只需要数学问题及其最终答案来生成我们的训练数据，而不需要解决方案。我们继续训练一个步骤级值模型，旨在提高LLM在数学领域的推理过程。我们的实验表明，使用LLMs增强的自动生成解决方案的MCTS显著提高了模型处理复杂数学推理任务的能力。

如何通过Monte Carlo Tree Search (MCTS)框架自动生成过程监督和评估信号，以改善大型语言模型（LLMs）在数学推理中的表现？

使用自动生成的解决方案通过MCTS增强的LLMs显著提高了模型在复杂数学推理任务中的推理能力，而无需手动注释中间步骤。

论文提出的方法不需要手动注释中间步骤，使用自动生成的解决方案进行训练；实验结果表明，该方法显著提高了LLMs在数学推理任务中的表现；论文使用了公开数据集，并提供了开源代码；值得进一步研究如何将该方法应用于其他领域。

最近的相关研究包括“MathQA: Towards Interpretable Math Word Problem Solving with Operation-Based Formalisms”和“MathDQN: Solving Arithmetic Word Problems via Deep Reinforcement Learning”。