随着视觉Transformer（ViTs）成为标准的视觉骨干网络，对其计算现象进行机制性解释变得至关重要。尽管其架构暗示了某种动态结构的存在，但目前尚无统一框架能将Transformer的深度解读为一种清晰刻画的信息流过程。在本文中，我们提出了“模块循环假说”（Block-Recurrent Hypothesis, BRH），认为训练后的ViT具备一种模块化的循环深度结构，即原本由 $L$ 个模块完成的计算可以被精确地重写为仅使用 $k \ll L$ 个不同模块反复调用的形式。在多种不同的ViT模型中，层间表征相似性矩阵表明，网络深度方向上存在数量较少的连续阶段。为了验证这些阶段是否确实反映了可重复使用的计算模式，我们训练了预训练ViT的循环式替代模型——“对相位结构Transformer的循环近似”（Raptor）。在小规模实验中，我们证明随机深度和训练过程会促进循环结构的形成，并且这种结构的强弱与我们能否准确拟合Raptor模型密切相关。接着，我们通过实证方式验证了BRH的存在性：仅用2个模块构建的Raptor模型，在相当的计算成本下恢复了DINOv2 ImageNet-1k线性探针准确率的96%。最后，我们基于该假说发展了一套动力学可解释性研究方案。我们发现：i）表征在前向传播过程中沿特定方向收敛至类别依赖的角度吸引盆地，并在受到微小扰动时表现出自我纠正的轨迹；ii）不同token具有特定的动力学行为，其中[cls] token在后期发生急剧的方向重定向，而图像块token则在后期强烈地向其平均方向保持一致性；iii）在网络深层阶段，更新逐渐退化为低秩形式，这与系统向低维吸引子收敛的现象一致。综上所述，我们在ViT的深度方向上发现了一种紧凑的循环计算程序，揭示了一种低复杂度的规范性解，使得这些模型能够通过严谨的动力系统分析方法加以研究。

Transformer架构中的注意力机制是根据内容（即“什么”）以及序列中的位置（即“哪里”）将键（key）与查询（query）进行匹配的。我们提出了一种分析，表明在流行的RoPE旋转位置编码中，“什么”和“哪里”是纠缠在一起的。这种纠缠可能会影响模型性能，尤其是在决策需要分别依赖这两个因素独立匹配的情况下。我们提出了一种对RoPE的改进方案，称为极坐标位置编码（Polar Coordinate Position Embeddings），简称PoPE，该方案消除了“什么”与“哪里”之间的混淆。在一项仅需通过位置或内容进行索引的诊断任务中，PoPE表现出明显优势。在音乐、基因组和自然语言等自回归序列建模任务中，使用PoPE作为位置编码的Transformer模型，在评估损失（困惑度）和下游任务表现方面均优于使用RoPE的基线模型。在语言建模任务中，从124M到774M参数的不同模型规模下，PoPE的优势都持续存在。关键的是，PoPE展现出强大的零样本长度外推能力，而RoPE在测试时面对更长的序列长度时，若不进行微调或使用位置插值方法，其性能会显著下降。

我们介绍了uSpectre，这是一种新的瞬时执行攻击类型，它利用微代码分支预测错误来暂时泄露敏感数据。我们发现，许多长期以来已知的和最近发现的瞬时执行攻击，之前被归类为Spectre或Meltdown变种，实际上在某些Intel微架构上是uSpectre的实例。基于我们的观察，我们发现了多种新的uSpectre攻击，并提出了一种针对uSpectre漏洞的防御方法，称为uSLH。

强化学习（RL）已成为提升大语言模型能力的关键方法。然而，在混合专家（MoE）模型中，路由机制常常引发训练不稳定，甚至导致灾难性的强化学习训练崩溃。我们分析了MoE模型在训练与推理阶段的路由一致性问题，发现这两个阶段的路由行为存在显著差异。此外，即使在完全相同的条件下，路由框架在多次前向传播中也可能产生不同的专家选择结果。为解决这一根本性不一致问题，我们提出了“ rollout路由回放”（Rollout Routing Replay, R3）方法，该方法记录推理引擎中的路由分布，并在训练过程中进行回放。R3显著降低了训练与推理策略之间的KL散度，有效缓解了极端偏差，同时不会牺牲训练速度。在多种实验设置下的大量实验结果表明，R3能够成功稳定强化学习训练过程，避免训练崩溃，并优于GSPO和TIS等现有方法。我们认为，本研究为稳定MoE模型中的强化学习提供了一种新的解决方案。

我们研究了带有条件变量的扩散模型的归纳偏置，这类模型已被广泛应用于文本条件生成图像模型以及观测条件连续控制策略中。我们发现，当以条件方式调用这些模型时，其生成结果持续偏离扩散模型理论基础中理想的“去噪”过程，从而导致主流采样算法（例如 DDPM、DDIM）之间出现不一致。为此，我们提出了“调度偏差”（Schedule Deviation）这一严谨的度量指标，用于刻画偏离标准去噪过程的程度，并提供了计算该指标的方法。关键的是，我们证明这种对理想化去噪过程的偏离，无论模型容量大小或训练数据多少，都会发生。我们认为，该现象源于在条件空间的不同区域之间难以衔接各自的去噪流，并从理论上阐明了这种现象如何因模型倾向于平滑性的归纳偏置而产生。

检索增强生成（RAG）通过将检索到的外部知识融入生成过程，有效提升了大语言模型（LLM）的能力。推理模型在多跳问答任务中改善了大语言模型的表现，这类任务需要整合并推理来自不同文档的多个证据片段，以回答复杂问题。然而，这些方法通常带来显著的计算开销，包括更高的令牌消耗和推理延迟。为了更深入地理解并缓解这一权衡，我们对推理模型在RAG多跳问答任务中的推理策略进行了全面研究。研究发现，推理模型采用结构化的策略来融合检索到的知识与内部知识，主要表现为两种模式：基于上下文的推理（Context-Grounded Reasoning），即直接依赖于检索内容进行推导；以及知识协调式推理（Knowledge-Reconciled Reasoning），即利用模型内部知识解决信息冲突或填补空白。基于上述发现，我们提出了一种新颖的轻量级重排序推理策略框架LiR$^3$AG，使非推理模型也能通过将检索到的证据重构为连贯的推理链，从而迁移使用这些推理策略。LiR$^3$AG平均减少了98%的输出令牌开销和58.6%的推理时间，同时使8B规模的非推理模型F1得分提升了6.2%至22.5%，性能甚至超过了RAG场景下32B规模的推理模型，为RAG系统的发展提供了一条高效且实用的新路径。

当前的人工智能训练方法仅在模型的核心能力基本形成之后，才将其与人类价值观进行对齐，导致模型容易偏离预期，并缺乏根深蒂固的价值体系。我们提出一种从“模型训练”到“模型养育”的范式转变，将价值对齐从一开始就融入模型的发展过程之中。我们确定了实现这一范式的若干关键要素，其核心在于重新设计训练语料库：将训练数据从第一人称视角进行重构，把信息重新置于“亲身体验”的情境中，模拟社会互动，并对训练数据的顺序进行结构化安排。我们预期，通过这种语料库的重新设计，模型将从第一个训练词元开始就建立起对价值观的早期承诺，从而使知识、技能与价值观内在地紧密结合，难以分离。在一个大语言模型能力已在诸多任务上开始超越人类能力的生态中，我们认为这种转变显得尤为迫切和关键。

形式化、自动化的定理证明长期以来被视为对人工智能的一大挑战。本文提出了一种全新的计算机定理证明方法，该方法采用专为Lean4证明生成而设计的语言模型，并结合递归地将复杂定理分解为更简单的蕴含命题的方式。这些模型通过一个多智能体架构进行协调，该架构统筹管理自动形式化（如需要）、证明生成、将复杂定理递归分解为较简单命题，以及对这些命题进行递归证明（或进一步分解）的全过程。在不使用分解的情况下，我们的方法在miniF2F测试集上已达到90.4%的通过率；而引入分解机制后，性能得到显著提升。本研究的一项关键技术贡献在于，我们扩展了Kimina Lean服务器，为其增加了抽象语法树（AST）解析功能，从而支持自动化、递归式的证明分解。该系统已作为“goedels-poetry”发布至PyPI（https://pypi.org/project/goedels-poetry），其开源实现KellyJDavis/goedels-poetry（https://github.com/KellyJDavis/goedels-poetry）便于适配其他语言模型，并支持自定义功能的扩展。

最近的3D重建技术进展使得从日常环境中轻松创建逼真的数字孪生成为可能。然而，当前的数字孪生大多仍处于静态状态，仅限于导航和视角合成，缺乏具身交互能力。为弥合这一差距，我们提出了灵巧世界模型（Dexterous World Model, DWM），这是一种场景-动作条件化的视频扩散框架，能够建模灵巧的人类动作如何在静态3D场景中引发动态变化。 给定一个静态3D场景的渲染结果和一段以自我为中心的手部运动序列，DWM能够生成时间上连贯、呈现合理人-场景交互的视频。我们的方法将视频生成过程建立在两个条件基础上：（1）按照指定相机轨迹进行的静态场景渲染，以确保空间一致性；（2）以自我为中心的手部网格渲染，用以编码几何形状和运动线索，从而直接建模依赖于动作的动态变化。为了训练DWM，我们构建了一个混合交互视频数据集：合成的以自我为中心的交互数据为联合移动与操作学习提供了完全对齐的监督信号，而固定相机拍摄的真实世界视频则贡献了丰富且真实的物体动态。 实验表明，DWM能够实现诸如抓取、开启和移动物体等真实且符合物理规律的交互行为，同时保持相机视角与场景的一致性。该框架是迈向基于视频扩散的交互式数字孪生的重要第一步，实现了从第一人称动作出发的具身化仿真。

自动驾驶实验室（SDLs）融合了机器人技术、自动化以及基于机器学习的数据分析与决策等最新技术进展，能够在无需任何人工直接干预的情况下，自主开展实验以实现人类设定的目标。目前，SDLs已成功应用于材料科学、化学及其他领域，以系统化且数据高效的方式优化工艺、材料和器件。现阶段，最广泛使用的算法是贝叶斯优化，用于确定最具信息价值的下一个实验。尽管标准贝叶斯优化相对容易应用于各种优化问题，但它依赖于固定的实验流程，要求明确的一组优化参数以及一个或多个可测量的目标函数。这种方法排除了在实验过程中对预定操作序列进行实时调整的可能性，也无法将中间测量结果纳入决策过程。因此，许多现实中的实验必须经过调整和简化，才能适配自动驾驶实验室的常规模式。本文提出了一种对贝叶斯优化的扩展方法，能够灵活采样多阶段实验流程，并基于中间可观测变量（我们称之为代理测量）做出最优决策。我们系统性地比较了考虑代理测量的方法与传统贝叶斯优化（仅观测最终结果）之间的优势。研究发现，在多种不同场景下，引入代理测量均显著提升了性能，不仅加快了找到优质解的速度，也提高了最终所得解的整体最优性。这一进展不仅为在自动驾驶实验室中采用更复杂、更贴近实际的实验流程铺平了道路，也为下一代自动驾驶实验室中实验与模拟的无缝结合提供了可能。