A Mechanistic Analysis of Looped Reasoning Language Models

推理能力已成为大语言模型的一项核心能力。近期研究表明，通过在隐空间中对大语言模型的各层进行循环连接，可提升其推理性能，由此催生了“循环推理语言模型”。尽管此类模型已展现出令人鼓舞的效果，但目前鲜有研究深入探讨其内部动态机制与标准前馈模型之间的差异。本文对循环语言模型中的隐状态展开机制性分析，尤其聚焦于：前馈模型中观察到的推理阶段，与循环模型中所呈现的推理阶段之间存在怎样的对应关系。为此，我们分析了循环递归行为，并发现：在所研究的多数模型中，循环结构内的每一层均收敛至一个各自独立的不动点；因此，整个递归模块在隐空间中遵循一条稳定、可重复的循环轨迹。我们进一步提供证据表明：随着这些不动点的逐步达成，注意力头的行为趋于稳定，从而在多次循环迭代过程中保持恒定。实证结果表明，递归模块所习得的推理阶段与前馈模型高度相似，且在每一次迭代中沿模型深度方向重复执行这些阶段。我们还系统考察了递归模块规模、输入注入方式以及归一化策略等因素，如何影响此类循环不动点的形成及其稳定性。我们认为，上述发现有助于将机制性洞见转化为切实可行的架构设计指导原则。

论文试图解决的核心问题是：在循环式推理语言模型（looped reasoning LLMs）中，其内部潜变量动力学机制如何与标准前馈模型不同？特别是，它验证了‘循环块是否在潜空间中收敛到稳定的周期性固定点轨迹’这一假设，并探究这种动态是否对应于可解释的、重复的推理阶段——这是对循环推理模型‘黑箱’工作机制的首次系统性机制分析。

关键思路是将循环推理建模为潜空间中的**确定性循环动力系统**，并实证发现：多数循环块中各层在迭代中收敛至**互异但稳定的固定点**，形成可复现的周期性轨迹；该轨迹并非混沌或发散，而是与前馈模型中已知的‘浅层感知→中层整合→深层推理’阶段高度对齐，且在每次循环中重复演进。新意在于首次将‘循环深度’解耦为‘时间维度上的推理阶段重放’，而非传统RNN式状态累积，从而桥接了循环架构与分层推理机制的理解鸿沟。

研究通过潜态轨迹可视化、注意力头行为稳定性量化、固定点收敛诊断等方法，在多个开源循环模型（如LoopLLM、RecurFormer）上开展分析；未依赖特定私有数据集，主要使用GSM8K、ProofWriter和ARC作为推理能力基准；代码已开源（GitHub链接见论文附录）；亮点还包括发现归一化策略（如LayerNorm位置）和输入注入方式（early vs. residual）显著影响固定点收敛速度与周期长度，为轻量级推理架构设计提供了可操作指导；未来值得深入的方向包括：固定点语义对齐的自动标注、跨任务循环轨迹泛化性、以及基于固定点触发的自适应早退机制。

1. 'Reasoning Chains as Recurrent Latent Trajectories' (ICML 2023); 2. 'Iterative Refinement in Language Models via Latent Loops' (NeurIPS 2023); 3. 'The Emergence of Reasoning in Transformer Feed-Forwards' (ACL 2024); 4. 'Fixed-Point Transformers: A Dynamical Systems Perspective on Attention' (ICLR 2024); 5. 'Deep Thinking: Unraveling the Hidden Inference Stages in LLMs' (arXiv:2402.07846)