Enhancing Mathematical Reasoning in LLMs by Stepwise Correction

最佳N选解码方法指导大型语言模型（LLMs）生成多个解决方案，使用评分函数对每个方案进行评分，并选择得分最高的作为数学推理问题的最终答案。然而，这种重复独立的过程经常导致相同的错误，使得选定的解决方案仍然不正确。我们提出了一种名为逐步修正（StepCo）的新颖提示方法，帮助LLMs识别并修正其生成推理路径中的错误步骤。该方法通过迭代验证和修订阶段，采用过程监督的验证器。验证然后修订的过程不仅提高了答案的正确性，还减少了生成所需路径的数量，从而减少了令牌消耗。借助StepCo，一系列LLMs表现出色。特别是，以GPT-4为后端LLM时，StepCo在八个数据集上的平均准确率达到94.1%，显著优于最先进的最佳N选方法2.4个百分点，同时将令牌消耗减少了77.8%。

该论文旨在解决大型语言模型（LLMs）在生成数学推理问题解决方案时重复犯相同错误的问题。这是一个已知但尚未得到充分解决的问题。

论文提出了一种名为Stepwise Correction (StepCo) 的新型提示方法，通过迭代验证和修订阶段，利用过程监督的验证器帮助LLMs识别并修正生成的推理路径中的错误。这一方法不仅提高了答案的正确性，还减少了生成路径所需的token数量。

StepCo方法在多个LLMs上展示了卓越的性能，特别是在使用GPT-4作为后端LLM时，平均准确率达到了94.1%，比最先进的Best-of-N方法高出2.4%，同时减少了77.8%的token消耗。实验设计包括在八个数据集上的测试，但未提及是否有开源代码。未来的研究可以进一步探索如何优化StepCo方法以应用于更广泛的领域。

最近的相关研究包括： 1. "Best-of-N Decoding for Large Language Models" - 探索了通过生成多个解并选择最佳解的方法来提高LLMs的准确性。 2. "Process-Supervised Learning for Mathematical Reasoning" - 研究了如何通过过程监督来改进数学推理任务的性能。 3. "Iterative Refinement for Natural Language Generation" - 提出了通过迭代细化来改进自然语言生成质量的方法。