Reinforcing Thinking through Reasoning-Enhanced Reward Models

大型语言模型（LLMs）在通过推理时的多步复杂推理方面展现出巨大的潜力，但由于对其知识边界的自我认知有限，仍然难以决定何时停止思考。尽管人类偏好对齐展示了非凡的机会，但昂贵的标注成本挑战了其遵循扩展定律的能力。作为使用人类标注推理数据的替代方案，语言模型自我批评因其固有的偏差而受到质疑。本研究通过将LLM自身的推理过程提炼为合成行为数据，消除了对手动标注中间步骤的需求。基于这一概念，我们提出了蒸馏-强化-推理（DRR）框架，这是一个三步框架，利用LLM的内在行为作为外部反馈：首先，使用推理器（LLM）生成反映其推理能力的行为数据；然后，在行为数据上训练一个轻量级的判别奖励模型（DM）；最后，在推理时部署DM以辅助推理器的决策。在多个基准测试中的实验表明，DRR框架在不依赖额外复杂数据标注的情况下优于自我批评方法。得益于其轻量级设计、易于复制和适应性强，DRR适用于广泛的以LLM为中心的任务。

该论文试图解决大型语言模型（LLM）在多步骤推理过程中，难以判断何时停止思考的问题。这是由于LLM缺乏对其知识边界的自我意识所导致的。此外，它也探讨了如何减少对昂贵的人工标注数据的依赖，并克服语言模型自评方法中固有的偏差问题。

关键思路是通过蒸馏LLM自身的推理过程生成合成行为数据，从而消除对人工标注中间步骤的需求。提出的Distillation-Reinforcement-Reasoning (DRR)框架分为三个步骤：1）使用LLM生成反映其推理能力的行为数据；2）基于这些行为数据训练一个轻量级的判别奖励模型(DM)；3）在推理时部署DM以辅助LLM的决策。这种方法不仅新颖地利用了LLM的内在行为作为外部反馈，而且避免了复杂的数据标注需求。

实验设计涵盖了多个基准测试，结果显示DRR框架优于自评方法，且无需额外复杂的注释数据。此外，DRR具有轻量级设计、易于复制和适应性强的特点，适用于广泛的LLM为中心的任务。论文没有提及是否开源代码，但其提出的方法论为未来研究提供了明确的方向，尤其是在改进LLM的推理能力和减少对人工标注的依赖方面。

最近在这个领域内的相关研究包括：1）人类偏好对齐的研究，虽然展示了巨大潜力，但在扩展性上面临挑战；2）语言模型自评方法，尽管存在继承偏见的问题；3）其他尝试改进LLM推理能力的工作，如《Improving Multi-step Reasoning with Large Language Models》和《Enhancing LLMs' Decision-making through External Knowledge Integration》等。