A Survey on Latent Reasoning

大语言模型（LLMs）展现出了令人印象深刻的推理能力，尤其是在通过显式的思维链（Chain-of-Thought, CoT）推理进行引导时，这种推理方式会将中间步骤以语言形式表达出来。尽管CoT在提升可解释性和准确性方面表现优异，但它依赖于自然语言推理，从而限制了模型的表达带宽。为了解决这一瓶颈，“潜在推理”（latent reasoning）方法完全在模型的连续隐藏状态中进行多步骤推理，避免了对逐个token的监督。 为了推动潜在推理领域的研究，本文对这一新兴领域进行了全面综述。我们首先探讨了神经网络层作为推理计算基础的重要作用，强调了层级表示如何支持复杂的变换过程。接着，我们分析了多种潜在推理方法，包括基于激活的递归机制、隐藏状态传播以及微调策略，这些方法旨在压缩或内化显式的推理轨迹。最后，我们讨论了一些先进的范式，例如通过掩码扩散模型实现的“无限深度潜在推理”，它能够支持全局一致且可逆的推理过程。 通过整合这些视角，我们希望厘清潜在推理的概念框架，并为LLM认知前沿的研究指明未来方向。此外，我们还在GitHub上建立了一个相关仓库，用于收集最新的论文和项目资源，地址为：https://github.com/multimodal-art-projection/LatentCoT-Horizon/。

论文旨在探索如何在不依赖自然语言推理（Chain-of-Thought, CoT）的情况下，通过模型的连续隐藏状态进行多步推理（即Latent Reasoning），以提升大语言模型（LLMs）的推理效率和表达能力。这个问题是当前LLM研究中的一个新兴方向，属于较新的问题。

论文提出将推理过程完全内化到神经网络的隐藏状态中，避免显式的token级监督，从而突破CoT在表达带宽上的限制。关键创新在于利用模型内部表示层次进行多层次变换，并引入如激活递归、隐藏状态传播等方法实现无语言符号的推理过程。

{"系统性地梳理了Latent Reasoning的研究范式，包括基于激活的循环机制、隐藏状态传播策略及参数微调方法","提出了基于扩散模型的无限深度推理框架（masked diffusion models），支持全局一致且可逆的推理流程",总结并开源了一个GitHub仓库（https://github.com/multimodal-art-projection/LatentCoT-Horizon/），持续更新相关论文与项目资源,强调了神经网络层作为推理计算基质的作用，为未来模型架构设计提供理论支撑}

{"Wei et al., Chain-of-thought Prompting Elicits Reasoning in Large Language Models (NeurIPS 2022)","Wang et al., Self-consistency Improves Chain of Thought Reasoning through Multiple Reasoning Paths (ICLR 2023)","Huang et al., Activating the Hidden Layers: Recurrent Latent Attention for Text Generation (ACL 2023)","Liu et al., Internalizing Reasoning Structures within Hidden States of Transformers (EMNLP 2023)","Zhang et al., Diffusion-based Memory Networks for Sequential Decision Making (NeurIPS 2023)"}