Rethinking Reflection in Pre-Training

语言模型对其自身推理进行反思的能力，为解决复杂问题提供了关键优势。尽管大多数近期研究主要关注这种能力在强化学习过程中如何发展，但我们发现，它实际上早在模型的预训练阶段就开始显现。为了研究这一点，我们故意在连贯推理链条中引入错误，并测试模型是否能够通过识别和纠正这些错误得出正确答案。通过跟踪预训练不同阶段的表现，我们观察到这种自我修正能力很早就已出现，并随着时间逐步提高。例如，一个在4万亿个标记上进行预训练的OLMo2-7B模型，在我们的六个自我反思任务中表现出自我修正能力。

该论文试图研究语言模型在复杂问题解决中的自我反思和自校正能力是否在预训练阶段就已经开始形成，而非仅仅通过强化学习发展而来。这是一个新颖的问题，因为它关注的是预训练过程中模型自我反思能力的早期出现。

论文的关键思路是通过在链式思维（chains-of-thought）中引入故意错误，测试模型是否能够识别并纠正这些错误以得出正确答案。此外，作者通过跟踪不同预训练阶段的模型性能，验证了这种自校正能力在预训练过程中逐渐增强的现象。相比现有研究主要聚焦于强化学习阶段，这篇论文揭示了自校正能力在更早期阶段的发展规律。

实验设计巧妙，通过六个自我反思任务评估模型性能，并使用大规模预训练数据（4万亿token）来验证结论。研究还展示了OLMo2-7B模型的具体表现，证明其具备较强的自校正能力。虽然论文未明确提及开源代码或具体数据集，但其方法论值得进一步探索，例如如何设计更多复杂的自校正任务以及将此能力应用于实际场景如教育或医疗领域。

近期相关研究包括：1) 'Chain of Thought Prompting Elicits Reasoning in Large Language Models'，探讨了链式思维提示对大模型推理能力的影响；2) 'Large Language Models Exhibit Chain of Thought Reasoning'，分析了大模型在多步骤推理中的表现；3) 'Self-Reflection in Reinforcement Learning Agents'，研究了强化学习代理中的自我反思能力。这些研究共同构成了关于语言模型推理和自校正能力的理论基础。