Towards System 2 Reasoning in LLMs: Learning How to Think With Meta Chain-of-Though

我们提出了一种新的框架，即元思维链（Meta-CoT），它通过明确建模到达特定思维链所需的底层推理过程来扩展传统的思维链（CoT）。我们展示了来自最先进模型的实证证据，这些模型表现出与上下文搜索一致的行为，并探讨了通过过程监督、合成数据生成和搜索算法生成元思维链的方法。最后，我们概述了一个具体的训练模型以生成元思维链的管道，该管道结合了线性化搜索痕迹的指令微调和训练后的强化学习。此外，我们讨论了开放的研究问题，包括规模定律、验证者角色以及发现新型推理算法的潜力。这项工作为在大语言模型（LLM）中实现元思维链提供了理论和实践路线图，为人工智能更强大和更像人类的推理能力铺平了道路。

该论文试图通过引入Meta Chain-of-Thought (Meta-CoT)框架，解决当前链式思维（Chain-of-Thought, CoT）模型在推理过程中的透明度和可控性不足的问题。这并不是一个全新的问题，但该研究提出了更深层次的改进方案。

关键思路在于扩展传统的CoT方法，通过显式建模到达特定CoT所需的底层推理过程。相比现有研究，这篇论文不仅关注最终答案的生成，还深入探讨了推理过程本身，并提出通过过程监督、合成数据生成和搜索算法等方法来生成Meta-CoT，从而提高模型推理的透明性和可解释性。

论文设计了一系列实验来验证模型的行为是否与上下文搜索一致，并探索了不同的Meta-CoT生成方法。此外，作者还提供了一个具体的训练管道，包括指令微调、线性化搜索轨迹和强化学习后训练。值得注意的是，论文讨论了开放的研究问题，如缩放定律、验证者角色以及发现新的推理算法的可能性。尽管没有明确提到开源代码或特定的数据集，但论文提供了丰富的理论和实践指导，为未来的研究奠定了基础。

近期在这个领域中，有几项相关研究值得关注： 1. 'Training Language Models to Follow Instructions with Human Feedback' - 探讨了如何通过人类反馈提升语言模型的指令遵循能力。 2. 'Chain of Thought Prompting Elicits Reasoning in Large Language Models' - 研究了大型语言模型中链式思维提示的作用。 3. 'Reinforcement Learning from Human Feedback for Language Models' - 讨论了如何使用强化学习从人类反馈中优化语言模型。 4. 'Scaling Laws for Neural Language Models' - 研究了神经语言模型的缩放规律及其对性能的影响。