Dancing with Critiques: Enhancing LLM Reasoning with Stepwise Natural Language Self-Critique

提升大型语言模型（LLMs）的推理能力，尤其是对于需要多步骤逻辑推导的复杂任务，仍然是一个重大挑战。传统的推理时间扩展方法使用来自过程奖励模型的标量奖励信号来评估候选推理步骤，但这些标量奖励缺乏理解与验证每一步所需的细致定性信息。在本文中，我们提出了一种新的推理时间扩展方法——分步自然语言自我批评（PANEL），该方法通过生成自我批评的自然语言反馈来引导步骤级别的搜索过程。通过为每个候选推理步骤生成丰富且可读性强的批评内容，PANEL保留了关键的定性信息，从而在推理过程中实现更加明智的决策。这种方法避免了对任务特定验证器的需求以及相关的训练开销，因此可以广泛应用于各种任务。在包括AIME和GPQA在内的具有挑战性的推理基准测试中的实验结果表明，PANEL显著提升了推理性能，并优于传统的基于标量奖励的方法。我们的代码已开源，地址为 https://github.com/puddingyeah/PANEL，以支持并鼓励这一前景广阔领域的未来研究。

该论文试图解决大型语言模型在复杂多步逻辑推理任务中的性能不足问题。具体来说，传统方法依赖标量奖励信号来评估推理步骤，但这些信号缺乏足够的定性信息。这是一个重要的研究问题，因为当前的推理技术在处理复杂任务时仍然存在局限性。

论文提出了一种名为PANEL（stepwise natural language self-critique）的新方法，通过生成自然语言形式的自我批评来指导推理过程中的每一步。相比传统的标量奖励机制，这种方法保留了更多的定性信息，使模型能够更明智地选择推理步骤。此外，PANEL无需任务特定的验证器，减少了训练开销并提高了通用性。

论文在AIME和GPQA等具有挑战性的推理基准上进行了实验，结果表明PANEL显著提升了推理性能，并优于基于标量奖励的传统方法。此外，作者开源了代码（https://github.com/puddingyeah/PANEL），为后续研究提供了支持。未来可以进一步探索如何将这种方法应用于更多领域或结合其他增强技术。

近年来，关于提升LLM推理能力的研究有很多进展。例如，《Chain of Thought Prompting Elicits Reasoning in Large Language Models》探讨了通过提示链引导推理；《Training Verifiers to Solve Math Word Problems》则研究了使用验证器来改进数学问题求解。此外，《Self-Consistency Improves Chain of Thought Reasoning in Language Models》提出了自一致性方法以增强推理能力。这些研究与PANEL的方法形成互补，共同推动了推理领域的进步。