Training Large Language Models to Reason in a Continuous Latent Space

大型语言模型（LLMs）的推理过程受限于“语言空间”，通常通过链式思维（CoT）来解决复杂的推理问题。然而，我们认为语言空间可能并不总是最适合推理的。例如，大多数词汇标记主要用于文本连贯性，并非对推理至关重要，而一些关键标记则需要复杂的规划，给LLMs带来巨大挑战。为了探索在不受限的潜在空间中进行LLM推理的潜力，而不是使用自然语言，我们引入了一种新的范式——椰子（Chain of Continuous Thought）。我们利用LLM的最后一层隐藏状态作为推理状态的表示（称为“连续思维”）。与其将这种状态解码为词汇标记，我们将其直接作为后续输入嵌入，在连续空间中反馈给LLM。实验表明，椰子可以有效增强LLM在多个推理任务上的表现。这种新颖的潜在推理范式带来了新兴的高级推理模式：连续思维可以编码多个备选的下一步推理步骤，使模型能够执行广度优先搜索（BFS）来解决问题，而不会像CoT那样过早地承诺单一确定路径。在某些需要大量回溯规划的逻辑推理任务中，椰子的表现优于CoT，并且在推理过程中使用的思维标记更少。这些发现展示了潜在推理的前景，并为未来的研究提供了宝贵的见解。

论文试图解决大型语言模型（LLMs）在处理复杂推理任务时存在的限制，特别是语言空间中的推理过程可能不总是最优的问题。这是一个新问题，探讨了在非自然语言的潜在空间中进行推理的可能性。

论文的关键思路是引入了一种新的推理范式——Coconut（链式连续思考），利用LLM的最后一层隐藏状态作为推理状态的表示（称为“连续思考”），而不是将其解码为词元。这种连续状态直接作为后续输入嵌入反馈给LLM，从而在潜在空间中进行推理。相比传统的链式思考（CoT），Coconut能够更好地处理需要大量回溯和规划的任务。

论文展示了Coconut在多个逻辑推理任务上的优越性，尤其是在需要大量回溯的规划任务中。实验设计包括与传统CoT方法的对比，使用了多个标准数据集，并且显示Coconut在推理过程中使用的思考词元更少。此外，论文还指出，连续思考可以编码多个备选的下一步推理步骤，使模型能够执行广度优先搜索（BFS），而不是过早地确定单一路径。这些发现为未来的潜在推理研究提供了宝贵的见解。

最近在这个领域中，相关的研究还包括：1.《Enhancing Logical Reasoning in Transformers via Explicit Proof Construction》；2.《Latent Space Optimization for Neural Machine Translation》；3.《Reasoning with External Knowledge in Large Language Models》。这些研究都尝试从不同的角度改进LLM的推理能力，但Coconut的独特之处在于它在潜在空间中进行推理，而不是依赖于自然语言的表达。