最近的研究进展表明，增加推理时的计算量可以显著提升大型语言模型（LLMs）的推理能力。尽管重复采样（即生成多个候选输出）是一种非常有效的策略，但它并未利用外部反馈信号进行优化，而在编程等任务中这些信号通常是可用的。在本文中，我们提出了一种新的推理时框架——自适应分支蒙特卡罗树搜索（AB-MCTS），它通过有原则的多轮探索和利用来推广重复采样的方法。在搜索树的每个节点上，AB-MCTS 根据外部反馈信号动态决定是“扩展宽度”生成新的候选响应，还是“深入挖掘”重新审视现有的响应。我们在复杂编程和工程任务中使用前沿模型对我们的方法进行了评估。实证结果表明，AB-MCTS 一致优于重复采样和标准蒙特卡罗树搜索（MCTS），突显了将 LLMs 的响应多样性与多轮解决方案优化相结合以实现有效推理时间扩展的重要性。

近期强化学习的进展表明，语言模型通过在具有可验证奖励的任务上进行训练，可以发展出复杂的推理能力，但这些方法依赖于人工整理的问题-答案对以及特定领域的奖励工程。我们提出了SPIRAL这一自博弈框架，让模型通过与不断自我提升的版本进行多轮、零和博弈来学习，从而消除了对人类监督的需求。通过自博弈，SPIRAL生成了一个无限进阶的课程，问题难度逐步增加，因为模型必须不断适应更强的对手。 为了实现大规模的这种自博弈训练，我们构建了一个完全在线的、支持多轮次、多智能体的强化学习系统，并提出了角色条件优势估计（RAE）以稳定多智能体训练过程。使用SPIRAL，在零和博弈中的自博弈训练能够产生广泛迁移的推理能力。仅在Kuhn Poker游戏上训练Qwen3-4B-Base，就在数学任务上取得了8.6%的提升，在通用推理任务上提升了8.4%，表现优于在25,000条专家游戏轨迹上进行监督微调（SFT）的结果。 分析显示，这种能力迁移是通过三种认知模式实现的：系统性分解、期望值计算以及逐案分析。多游戏训练（包括井字棋、Kuhn Poker和简单谈判）进一步增强了整体性能，因为每种游戏培养了不同的推理优势。将SPIRAL应用于一个本身已经具备强大推理能力的模型（DeepSeek-R1-Distill-Qwen-7B）仍能带来平均2.0%的提升。这些结果表明，零和博弈能够自然地发展出可迁移的推理能力，为实现自主推理发展提供了一条有前景的方向。

在训练好的 Transformer 中发现的“懒惰神经元”现象表明，对于每个 token，其前馈网络（FFN）中的绝大多数神经元都处于非激活状态。这一发现引发了对激活稀疏性研究的极大兴趣，以提升大规模模型的效率。尽管在将这种稀疏性转化为实际运行时间收益方面已取得显著进展，但现代 Transformer 已逐渐远离了对该现象至关重要的 ReLU 激活函数。重新引入激活稀疏性的现有方法往往会导致模型质量下降、参数数量增加，或者使训练过程复杂化甚至变慢。而稀疏注意力（即将稀疏激活应用于注意力机制）通常也面临类似的挑战。 本文提出了 Spark Transformer，这是一种新颖的架构，能够在 FFN 和注意力机制中实现高水平的激活稀疏性，同时保持模型质量、参数数量和标准训练流程不变。我们的方法通过 top-k 掩码实现稀疏性，从而对稀疏性水平进行显式控制。关键在于，我们引入了统计 top-k，这是一种硬件加速器友好的、线性时间近似算法，能够避免昂贵的排序操作，并缓解标准 top-k 操作带来的显著训练减速问题。此外，Spark Transformer 重新分配现有的 FFN 参数和注意力键嵌入，构建了一个低成本的预测器，用于识别激活项。这一设计不仅减轻了强制稀疏性带来的质量损失，还进一步提升了运行时间收益。通过 Gemma-2 预训练方案，Spark Transformer 在标准基准测试中表现出竞争力，同时展现出显著的稀疏性：仅 8% 的 FFN 神经元被激活，且每个 token 最多只关注 256 个 token。这种稀疏性使得浮点运算量（FLOPs）减少了 2.5 倍，从而在 CPU 上实现了高达 1.79 倍的解码运行时间加速，在 GPU 上则达到了 1.40 倍的加速效果。

高效深度学习方法的核心支柱之一是架构改进，例如残差/跳连接，这已经显著提高了模型的收敛性和质量。自那以后，残差连接不仅在卷积神经网络中变得普遍，还在基于变换器的架构中广泛使用，后者是大语言模型的骨干。 本文介绍了 *Learned Augmented Residual Layer* (LAuReL)——这是经典残差连接的一种新颖泛化形式，旨在作为后者的原位替代方案，同时在模型质量和占用空间指标上表现出色。我们的实验表明，使用 LAuReL 可以提升视觉和语言模型的性能。例如，在 ResNet-50 和 ImageNet 1K 任务中，它能够实现增加一层带来的 60% 的性能提升，而仅增加了 0.003% 的参数量，并且在增加 2.6 倍更少的参数量时达到相同的性能。

细胞自动机及其可微分对应物——神经细胞自动机（NCA），具有高度的表达能力和令人惊讶的复杂行为。本文探讨了当 NCA 被应用于需要精确变换和少量样本泛化的任务时的表现，使用面向人工通用智能的抽象与推理语料库（ARC-AGI）作为挑战其能力的领域，这种方式是之前未曾探索过的。具体来说，本文通过基于梯度的训练方法学习迭代更新规则，这些规则能够将输入网格转换为训练样本中的输出，并将其应用于测试输入。结果表明，通过梯度训练的 NCA 模型是一种有前途且高效的解决方案，适用于来自 ARC 的一系列抽象网格任务。除了讨论各种设计修改和训练约束的影响外，本研究还分析了应用于 ARC 的 NCA 的行为和特性，为自组织系统在更广泛领域的应用提供了洞见。

在许多行业中，预测大型系统的指标结果是一个基础性问题，传统上主要依赖表格回归方法。然而，在面对诸如配置文件或系统日志这样的复杂系统数据时，这些方法往往表现不佳，因为在这种情况下特征工程通常是不可行的。我们提出了一种通用且可扩展的替代方法——文本到文本的回归。在预测谷歌庞大的计算集群调度系统 Borg 的资源效率方面，一个从随机初始化开始训练的、包含 6000 万参数的编码器-解码器模型，在整个集群范围内达到了接近完美的 0.99（平均 0.9）等级相关系数，并且均方误差比表格方法低了 100 倍。该模型还能轻松适应新任务，仅需约 500 个少样本示例即可完成学习，并能够捕捉复杂结果分布的密度。消融实验突出了使用编码器、增加序列长度以及模型本身对不确定性量化的关键作用。这些发现为构建现实世界结果的通用模拟器铺平了道路。

本研究探讨了大型语言模型（LLM）辅助写作对神经活动和行为的影响。参与者被分为三组：LLM组、搜索引擎组和纯脑力组（无工具辅助）。每组在相同条件下完成了三次写作任务。在第四次任务中，LLM组的参与者被重新分配到纯脑力组（LLM转纯脑力），而纯脑力组的参与者则被重新分配到LLM组（纯脑力转LLM）。共有54名参与者完成了前三个阶段的任务，其中18人完成了第四阶段的任务。我们通过脑电图（EEG）评估写作过程中的认知负荷，并使用自然语言处理（NLP）技术分析文章内容，同时结合人类教师和AI评分系统对文章进行评分。 结果表明，在各组内部，命名实体识别（NER）、n-gram模式和主题本体均表现出较高的同质性。脑电图数据显示，不同组别的大脑连接性存在显著差异：纯脑力组的大脑网络最为强大且分布广泛；搜索引擎组表现出中等程度的参与度；而LLM组的大脑连接性最弱。认知活动随着外部工具使用的增加而逐渐减少。在第四阶段任务中，从LLM转为纯脑力的参与者显示出α波和β波连接性的降低，表明其参与度不足。而从纯脑力转为LLM的参与者则表现出更高的记忆回忆能力以及枕叶-顶叶和额叶区域的激活，这一表现与搜索引擎组相似。 此外，自评结果显示，LLM组对文章的“所有权”感最低，而纯脑力组最高。值得注意的是，LLM组的参与者在准确引用自己作品方面也遇到了困难。尽管LLM提供了即时便利，但我们的研究揭示了其可能带来的认知成本。在为期四个月的研究中，LLM组在神经、语言和行为层面的表现始终逊于其他组别。这些结果引发了对长期依赖LLM在教育领域影响的担忧，并强调了深入探究人工智能在学习中角色的重要性。

人工智能在扩大获取专家级医学知识和推理能力方面具有巨大潜力。然而，目前对语言模型的大多数评估依赖于静态病例摘要和多项选择题，这些方法无法反映真实世界中循证医学的复杂性和细微差别。在临床实践中，医生会逐步形成并修正诊断假设，根据最新获得的信息调整后续的问题和检查，并在做出最终诊断之前权衡不断演变的证据。 为了模拟这一迭代过程，我们推出了“顺序诊断基准测试”（Sequential Diagnosis Benchmark），将304个具有诊断挑战性的《新英格兰医学杂志》临床病理讨论（NEJM-CPC）案例转化为逐步推进的诊断场景。一名医生或AI从一段简短的病例摘要开始，必须逐步向一个“守门人模型”请求更多信息，该模型仅在被明确询问时才会揭示相关发现。评估标准不仅包括诊断准确性，还包括问诊和检查所带来的成本。 我们还提出了MAI诊断协调器（MAI-DxO），这是一种与模型无关的协调系统，可模拟一组医生的行为，提出可能的鉴别诊断，并战略性地选择高价值、具成本效益的检查。当与OpenAI的o3模型配合使用时，MAI-DxO实现了80%的诊断准确率，是全科医生平均20%准确率的四倍。与医生相比，MAI-DxO还可将诊断成本降低20%，与直接使用现成的o3模型相比则降低了70%。在追求最高准确性的配置下，MAI-DxO的准确率达到85.5%。这些性能优势在多个主流模型家族（包括OpenAI、Gemini、Claude、Grok、DeepSeek 和 Llama系列模型）中均得以体现。 我们强调，当AI系统被引导以迭代思考和审慎行动的方式运作时，可以在临床诊疗中显著提升诊断的精准度和成本效益。

我们建立了Transformer架构（最初用于自然语言处理）与图神经网络（GNNs，用于图上的表示学习）之间的联系。我们展示了Transformer可以被视为在令牌的全连接图上运行的消息传递GNN，其中自注意力机制捕捉了所有令牌相对于彼此的重要性，而位置编码则提供了关于序列顺序或结构的提示。因此，Transformer是一种表达能力强的集合处理网络，能够学习输入元素之间的关系，而不受先验图结构的限制。尽管在数学上与GNN有相通之处，Transformer却是通过密集矩阵运算实现的，在现代硬件上这种运算比稀疏的消息传递高效得多。这使我们得出一个观点：Transformer本质上是当前在硬件优势中胜出的图神经网络。

视觉语言模型（VLMs）能否像人类一样，仅凭几个视角就想象出整个场景？人类通过构建空间心智模型——即对不可见空间的内部表征——来推理布局、视角和运动。我们新提出的 MindCube 基准测试包含 21,154 个问题，覆盖 3,268 张图像，揭示了这一关键能力上的显著差距：现有的 VLMs 表现接近随机猜测。借助 MindCube，我们系统地评估了 VLMs 在表达位置（认知映射）、方向（视角转换）和动态（对“如果……会怎样”移动的心理模拟）方面构建稳健空间心智模型的能力。 接着，我们探索了三种帮助 VLMs 接近空间心智模型的方法：引入未见过的中间视角、自然语言推理链以及认知地图。其中，一种结合性的方法“先建图后推理”带来了显著提升，该方法联合训练模型首先生成认知地图，然后基于地图进行推理。通过训练模型在这些内部地图上进行推理，我们将准确率从 37.8% 提高到了 60.8%（提升了 +23.0%）。进一步加入强化学习后，性能甚至提升至 70.7%（提升了 +32.9%）。 我们的核心发现是：这种空间心智模型的搭建过程——主动构建并利用具有灵活推理机制的内部结构化空间表征——能显著增强模型对不可见空间的理解能力。