可验证奖励的强化学习（RLVR）作为一种提升大型语言模型（LLM）推理能力的强大方法已崭露头角，但其机制尚未被充分理解。在本研究中，我们通过全新的标记熵模式视角对RLVR进行了开创性探索，全面分析了不同标记对推理性能的影响。通过考察链式思维（CoT）推理中的标记熵模式，我们发现仅有少量标记表现出高熵特性，而这些高熵标记起到了关键分支点的作用，引导模型走向多样化的推理路径。此外，通过对RLVR训练过程中熵模式演变的研究，我们观察到RLVR主要遵循基础模型的熵模式，主要调整的是高熵标记的熵值。这些发现强调了高熵标记（即分支点标记）对RLVR的重要性。最终，我们通过限制策略梯度更新仅作用于分支点标记，进一步优化了RLVR，并揭示了一个超越80/20法则的现象：仅使用20%的标记即可在Qwen3-8B基础模型上实现与全梯度更新相当的性能，同时在Qwen3-32B基础模型上显著超越全梯度更新（AIME'25提升11.04分，AIME'24提升7.71分），以及在Qwen3-14B基础模型上也有显著提升（AIME'25提升4.79分，AIME'24提升5.21分），体现出强烈的规模效应。相反，若仅针对80%的低熵标记进行训练，则会导致性能明显下降。这些结果表明，RLVR的有效性主要来源于对决定推理方向的高熵标记的优化。总体而言，我们的研究结果表明，通过标记熵的视角可以更好地理解RLVR，并通过利用高熵少数标记来优化RLVR，从而进一步提升LLM的推理能力。

我们提出了一种新方法，用于估计模型对某个数据点“了解”的程度，并用该方法衡量现代语言模型的容量。以往关于语言模型记忆的研究难以将记忆与泛化区分开来。我们正式将记忆分解为两个组成部分：**无意记忆**（unintended memorization），即模型中包含的关于特定数据集的信息，以及**泛化**（generalization），即模型中包含的关于真实数据生成过程的信息。当我们完全消除泛化时，可以计算出总的记忆量，这提供了模型容量的一个估计值：我们的测量结果估计 GPT 类型的模型每参数的容量约为 3.6 比特。我们使用逐渐增大的数据集训练语言模型，并观察到模型会在其容量填满之前进行记忆；此时，“grokking”（深刻理解）开始发生，无意记忆随着模型开始泛化而减少。我们训练了从 50 万参数到 15 亿参数的数百个变压器语言模型，并得出了一系列与模型容量和数据规模相关的缩放定律，这些定律与成员推断相关。

视觉-语言模型（VLMs）在大规模多模态数据集上预训练后，能够编码丰富的视觉和语言知识，这使它们成为机器人技术的强大基础。相比于从零开始训练机器人的策略，近期的方法将VLMs扩展为视觉-语言-动作（VLA）模型，从而实现由自然语言驱动的感知与控制。然而，现有的VLA模型通常规模庞大——往往包含数十亿参数——这导致了高昂的训练成本以及有限的实际部署能力。此外，这些模型依赖于学术界和工业界的数据库，忽略了来自低成本机器人平台的社区收集数据日益增长的可用性。在这项工作中，我们提出了SmolVLA，这是一种小型、高效且由社区驱动的VLA模型，它显著降低了训练和推理成本，同时保持了具有竞争力的性能。SmolVLA被设计为可以在单个GPU上进行训练，并能部署在消费级GPU甚至CPU上。为了进一步提高响应速度，我们引入了一种异步推理框架，将感知和动作预测与动作执行解耦，通过分块的动作生成实现更高的控制频率。尽管其体积小巧，SmolVLA的性能可与规模大十倍的VLA模型相媲美。我们在一系列模拟和真实世界的机器人基准测试中评估了SmolVLA，并开源了所有代码、预训练模型及训练数据。

我们考虑线性递归神经网络，由于其在稳定和有效的长距离建模方面的能力，这类网络已经成为序列建模的关键组成部分。在本文中，我们的目标是通过一个简单但核心的复制任务来描述这种能力，该任务的目标是构建一个阶数为 \( S \) 的线性滤波器，以近似查看过去 \( K \) 个时间步的滤波器（我们称之为移位-\( K \) 滤波器），其中 \( K \) 大于 \( S \)。 利用经典信号模型和二次代价函数，我们通过提供近似误差的下界以及达到此下界的显式滤波器，对问题进行了全面表征。最优性能揭示了一个不确定性原理：最优滤波器必须对过去第 \( K \) 个时间步附近的值进行平均，其范围（宽度）与 \( K/S \) 成正比。

人工智能是否能够有效执行 traditionally 需要人类专业知识的复杂计量经济学分析？本文评估了一种基于代理的 AI 掌握计量经济学的能力，重点关注其在实证分析中的表现。我们基于开源的 MetaGPT 框架开发了一个“计量经济学 AI 代理”。该代理在以下方面表现出卓越性能：（1）战略性规划计量经济学任务，（2）生成并执行代码，（3）通过基于错误的反思提升鲁棒性，以及（4）通过多轮对话实现迭代优化。我们从学术课程材料和已发表的研究论文中构建了两个数据集，以评估其应对现实世界挑战的表现。对比测试显示，我们的领域专用代理显著优于基准的大语言模型 (LLMs) 和通用 AI 代理。本研究建立了一个试验平台，用于探索 AI 对社会科学研究所产生的影响，并实现了以低成本整合领域专业知识的目标，使具备最少编码经验的用户也能使用高级计量经济学方法。此外，我们的代理还提高了研究的可重复性，并为计量经济学教学提供了有前景的教育应用。

Gemini 越来越被用于为用户执行任务，其中函数调用和工具使用能力使该模型能够访问用户数据。然而，某些工具需要访问不可信的数据，这带来了风险。对手可以将恶意指令嵌入到不可信的数据中，导致模型偏离用户的预期，从而错误处理其数据或权限。在本报告中，我们介绍了谷歌 DeepMind 在评估 Gemini 模型对抗鲁棒性方面的方法，并总结了从这一过程中获得的主要经验教训。我们通过一个对抗评估框架测试 Gemini 在面对 sophisticated（复杂且有针对性的）对手时的表现，该框架部署了一系列自适应攻击技术，持续针对 Gemini 的过去版本、当前版本以及未来版本进行测试。我们还详细说明了这些持续的评估如何直接帮助 Gemini 提高对操纵行为的抵御能力。

微调大型语言模型（LLMs）的目的是提升其推理能力，但我们发现了一个反直觉的现象：模型往往会忘记如何解决它们在训练过程中曾经正确回答的问题。我们将这种现象称为时间遗忘，并证明它广泛存在于不同规模的模型、微调方法（包括强化学习和监督微调）以及多个推理基准测试中。为了解决这一问题，我们提出了时间采样（Temporal Sampling），这是一种简单的解码策略，它从训练轨迹中的多个检查点抽取输出。这种方法无需重新训练或集成模型即可恢复被遗忘的解决方案，并显著提升推理性能，在多个基准测试中，Pass@k 提升了 4 到 19 个点，Majority@k 也表现出一致的改进。我们进一步将该方法扩展到 LoRA 适配的模型上，证明仅存储各检查点的适配器权重即可以极低的存储成本实现类似的收益。通过利用训练过程中固有的时间多样性，时间采样提供了一种实用且计算高效的手段，能够挖掘隐藏的推理能力，并促使我们重新思考如何评估大型语言模型。

全局光照通过结合直接光照和间接光照来创建逼真的照明效果，使虚拟场景更加接近现实。静态全局光照是虚拟场景渲染中的一个重要组成部分，它利用预计算和烘焙技术显著降低运行时的计算成本。然而，许多现有的方法为了追求视觉质量，依赖于大量的纹理存储和像素级的纹理采样，从而导致性能开销过大。在本文中，我们提出了一种光照重建方法，有效减少了片段着色器中的采样需求，并避免了额外的渲染通道，使其非常适合低端平台。为了在减少内存使用的同时实现高质量的全局光照，我们采用了球谐函数拟合的方法来烘焙有效的光照信息，并提出了一种逆向探针分布方法，为每个网格生成唯一的探针关联。这种关联可以在本地空间中离线生成，确保相同网格的所有实例都能保持一致的光照质量。因此，我们的方法能够在仅使用主流行业技术约5%内存的情况下，提供极具竞争力的光照效果。

当今的人工智能系统具有人类设计的固定架构，无法自主且持续地提升自身性能。人工智能的发展本身可以实现自动化，如果能够安全地实现这一点，将加速人工智能的进步，并让我们更早享受到其带来的好处。元学习（Meta-learning）可以自动化发现新的算法，但受限于一阶改进以及需要人为设计合适的搜索空间。哥德尔机（Gödel machine）提出了一种理论上的替代方案：一种能够反复以可证明有益的方式修改自身的自提升人工智能。然而，在实践中，证明大多数修改总体上是有益的是不可能的。 我们引入了达尔文哥德尔机（Darwin Gödel Machine, DGM），这是一种自提升系统，它通过迭代修改自身代码（从而也提升其修改自身代码库的能力），并使用编程基准对每次修改进行经验验证。受达尔文进化论和开放式探索研究的启发，DGM维护了一个生成的编程代理（coding agents）档案库。它通过从档案库中采样一个代理，并利用基础模型（foundation model）创建该采样代理的新颖变体来扩展档案库。这种开放式的探索形成了一棵不断增长的高质量代理树，允许在搜索空间中并行探索许多不同的路径。 实证结果表明，DGM自动提升了其编程能力（例如，更好的代码编辑工具、长上下文窗口管理、同行评审机制），将SWE-bench的性能从20.0%提升至50.0%，Polyglot的性能从14.2%提升至30.7%。此外，与没有自提升或开放式探索的基线方法相比，DGM显著优于后者。所有实验均采取了安全措施（例如，沙盒隔离、人工监督）。DGM是迈向自提升人工智能的重要一步，能够在创新的道路上自行收集关键步骤，开启无尽的创新可能。