Distilling System 2 into System 1

大型语言模型（LLMs）可以在推理过程中花费额外的计算资源来生成中间的思考过程，这有助于产生更好的最终响应。自从Chain-of-Thought（Wei等人，2022）之后，已经提出了许多类似的System 2技术，例如Rephrase and Respond（Deng等人，2023a）、System 2 Attention（Weston和Sukhbaatar，2023）和Branch-Solve-Merge（Saha等人，2023）。在本研究中，我们研究了自监督方法，将System 2技术的高质量输出“编译”（蒸馏）回LLM生成中，而不需要中间推理标记序列，因为这种推理已经被蒸馏到System 1中。我们展示了几种这样的技术可以成功地被蒸馏，相比原始的System 1性能，结果有所改善，并且推理成本比System 2更少。我们认为，这种System 2蒸馏将成为未来不断学习的人工智能系统的重要特征，使它们能够将System 2能力集中于它们尚不能很好地完成的推理任务上。

论文试图通过自监督方法将系统2技术中的中间推理过程提取出来，以提高LLM的生成质量，同时减少推理成本。这是否是一个新问题？

论文的关键思路是将系统2技术中的中间推理过程提取出来，然后通过自监督方法将其融合到LLM的生成中，以提高生成质量。相比当前领域的研究，该论文的思路具有创新性。

论文通过实验验证了所提出的自监督方法可以成功地将系统2技术中的中间推理过程融合到LLM的生成中，从而提高了生成质量。实验使用了多个数据集，并且开源了代码。该论文的思路为未来不断学习的AI系统提供了一个重要的特性。

最近在这个领域中，还有一些相关的研究被进行，如Repahrase and Respond、System 2 Attention和Branch-Solve-Merge。