Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs

推理时的推断已经作为一种强大的范式出现，使得语言模型能够像熟练的人类专家一样，“思考”更长时间并更仔细地应对复杂的挑战。虽然强化学习（RL）可以在可验证的任务上推动语言模型的自我改进，但有些模型表现出显著的进步，而其他模型则很快达到瓶颈。例如，我们发现，在相同的RL训练下，Qwen-2.5-3B在《数字游戏》中的表现远超Llama-3.2-3B。这种差异引发了一个关键问题：哪些内在属性能够促进有效的自我改进？我们引入了一个框架来研究这个问题，通过分析四种关键的认知行为——验证、回溯、子目标设定和逆向推理——这些行为既被专家级人类问题解决者使用，也被成功的语言模型采用。我们的研究表明，Qwen自然地展示了这些推理行为，而Llama最初却缺乏这些行为。在对控制行为数据集进行系统实验时，我们发现用包含这些推理行为的例子对Llama进行引导可以实现在RL期间的显著改进，达到或超过Qwen的表现。重要的是，推理行为的存在，而不是答案的正确性，被证明是关键因素——用包含正确推理模式的错误解决方案进行引导的模型，其表现与用正确解决方案训练的模型相当。最后，利用经过筛选以增强推理行为的OpenWebMath数据进行持续预训练，使Llama模型能够匹配Qwen的自我改进轨迹。我们的研究结果确立了初始推理行为与改进能力之间的基本关系，解释了为什么一些语言模型能够有效利用额外的计算资源，而其他模型则会停滞不前。

论文试图理解为什么某些语言模型在相同的强化学习（RL）训练下能够显著超越其他模型，具体探讨了内在属性如何影响模型的自我改进能力。这是一个相对较新的问题，旨在揭示不同模型间性能差异的根本原因。

关键思路是引入一个框架来分析四种认知行为——验证、回溯、子目标设定和逆向推理，这些行为被专家级人类问题解决者和成功的语言模型所使用。研究表明，Qwen自然地表现出这些推理行为，而Llama则缺乏这些行为。通过引导Llama展示这些推理模式，其性能得到了显著提升，甚至可以匹敌Qwen。这一发现强调了初始推理行为对模型改进能力的重要性。

实验设计非常系统，使用了控制行为数据集，并通过强化学习和持续预训练来测试模型的表现。研究还发现，模型在接收到包含正确推理模式但答案错误的例子时，也能达到与正确答案相似的性能。这表明正确的推理过程比答案本身更重要。此外，通过使用OpenWebMath数据进行过滤和放大推理行为，Llama模型能够匹配Qwen的自改进轨迹。该研究为未来的研究提供了方向，尤其是在优化语言模型的推理能力和改进策略方面。

最近在这个领域中，相关研究包括： 1. "Reinforcement Learning for Language Models: Challenges and Opportunities"，探讨了RL在语言模型中的应用及其挑战。 2. "Improving Language Model Generalization through Meta-Learning"，研究了元学习方法对语言模型泛化能力的影响。 3. "The Role of Pretraining Data in Language Model Performance"，分析了预训练数据的质量和多样性对模型性能的影响。 4. "Enhancing Language Models with Cognitive Reasoning Patterns"，研究了认知推理模式对语言模型性能的提升作用。