如果 $A$ 和 $B$ 是集合，且 $A \subset B$，那么泛化可以被理解为从 $A$ 推断出一个足以构建 $B$ 的假设。人们可以从 $A$ 推断出任意数量的假设，但只有其中一些可以推广到 $B$。如何知道哪些假设可能会泛化？一种策略是选择最短的假设，将压缩信息的能力与泛化能力（智能的代理）等同起来。我们在感知认知的数学形式主义的背景下研究了这一点。我们表明，压缩既不是最大化性能的必要条件，也不是充分条件（以假设泛化的概率来衡量性能）。我们制定了一个与长度或简单性无关的代理，称为弱点。我们表明，如果任务是均匀分布的，那么没有选择代理的方法可以在所有任务中至少与弱点最大化一样好，同时在至少一个任务中表现更好。在二进制算术的背景下比较最大弱点和最小描述长度的实验中，前者的泛化速度是后者的 $1.1$ 到 $5$ 倍。我们认为这证明了弱点是一个更好的代理，并解释了为什么 Deepmind 的 Apperception Engine 能够有效地泛化。

大语言模型（LLM）的后训练过程涉及大量多样化的数据集，每个数据集均旨在引导模型习得某种特定行为。然而，这些数据集在编码目标行为的同时，也无意中引入了诸多偶然性模式：例如文本格式与内容之间的相关性、不同任务中反复出现的狭窄表达方式，以及因离散化数据筛选流程而产生的隐含关联。此类模式往往对开发者而言难以察觉，却极易被模型捕捉并强化，从而引发令设计者始料未及的行为表现——例如，模型可能仅因事实陈述采用了某种特定提问格式，便拒绝承认该事实的真实性。我们将这一现象称为“块状后训练”（chunky post-training）：即模型因后训练数据被划分为彼此割裂、特征鲜明的若干“数据块”，而习得了大量虚假相关性。为此，我们提出SURF——一种黑盒式运行时诊断流水线，用于实时揭示此类非预期行为；并开发TURF——一种可追溯工具，能够将具体失败案例精准定位至引发问题的特定后训练数据子集。我们将上述工具应用于前沿闭源模型（Claude 4.5、GPT-5.1、Grok 4.1、Gemini 3）及开源模型（Tülu 3），结果表明，“块状后训练”确实导致模型产生校准失准（miscalibrated）的行为，而这类失准现象往往源于后训练数据中存在类别不平衡或标注/定义不充分的数据块。

后训练数据的多样性对大语言模型（LLMs）在下游任务中的有效性能至关重要。目前许多构建后训练数据的方法，均采用基于文本的指标来量化多样性，以刻画语言层面的变异程度；但此类指标仅能提供微弱信号，难以准确反映决定下游性能的任务相关特征。本文提出“特征激活覆盖率”（Feature Activation Coverage, FAC），一种在可解释特征空间中衡量数据多样性的新指标。在此基础上，我们进一步构建了一种以多样性为导向的数据合成框架——FAC合成法（FAC Synthesis）：该框架首先利用稀疏自编码器从初始种子数据集中识别出缺失的关键特征，继而有针对性地生成能够显式体现这些特征的合成样本。实验结果表明，本方法在多项下游任务（包括指令遵循、毒性检测、奖励建模与行为调控）上，均能持续提升数据多样性及最终性能。尤为值得注意的是，我们在多个主流模型家族（即LLaMA、Mistral与Qwen）之间发现了一个共通且可解释的特征空间，从而实现了跨模型的知识迁移。本研究为探索以数据为中心的大语言模型优化路径，提供了坚实而实用的方法论支撑。

生产环境中AI智能体的失效，较少源于其推理能力不足，而更多是因为它们无法有效管理自身推理所依赖的上下文内容：包括对话历史、冗长的提示词（prompts）、庞大的工具定义，以及急剧膨胀的工具输出结果。智能体在自身不断累积的历史信息中“溺亡”，同时每一轮交互还需承担持续增长的token开销，从而导致对话内部及跨对话场景下关键信息的遗漏与召回失败。当前主流应对思路将此问题简单视为存储与检索问题。我们认为，这种视角过于狭隘。对智能体“心智中所持内容”的主动管理，本质上是一个完整的生命周期过程，而不仅仅是一项静态存储任务：它涵盖决定应记忆哪些内容、从中提取并结构化关键信息、为不同类型的数据选择最适配的存储机制、在保留溯源依据的前提下进行信息整合与遗忘、动态判断当下所需的相关信息、前瞻性预判后续交互所需的上下文，并在严守token预算约束的前提下，对上下文进行高效压缩而不丢失核心语义。在真正严肃的生产实践中，这一机制的运作范围并非局限于单个用户，而是需覆盖组织层级的完整作用域——从个体到团队、部门乃至整个企业。我们将这一系统性能力命名为“智能体上下文管理”（Agentic Context Management, ACM），并将其解构为五大基础原语（primitives）：架构设计（architecting）、数据摄入（ingesting）、范围界定（scoping）、前瞻预测（anticipating），以及压缩与整合（compacting & consolidation）。随后，我们从经济学角度论证：朴素的上下文累积方式会使token成本随对话长度呈二次方增长；粗粒度摘要虽可将成本压至线性，却会引发准确率的断崖式下降；唯有经过验证的上下文压缩技术，才能在实现线性成本增长的同时，完整保持语义保真度。我们介绍了一个参考实现方案——Maximem Synap，该系统以多租户服务形式落地上述五大原语，并在第6节详述的配置下，在LongMemEval基准测试中取得92%的得分，在LoCoMo基准测试中达到93.2%的得分。最后，我们指出当前现有评测基准尚未涵盖的三个关键维度：响应延迟（latency）、token利用效率（token efficiency），以及上下文老化抵抗能力（context-rot resistance）；并进一步展望该领域的发展前沿——即面向决策层级与组织层级的上下文建模与协同治理。

生成式人工智能与具身人工智能的最新进展，主要得益于在多模态数据上开展的大规模预测性学习。然而，当前由此构建的系统仍主要依赖于被动式训练范式：即以语言规律为骨架，再将其他模态的信息依附其上。与此相反，神经科学与认知科学的研究表明，生物智能的组织方式恰恰相反——它首先通过与环境的交互习得扎根于现实世界的模型，这些模型构成了语义基础，语言则随后被“附着”于其上。本文阐述了支撑扎根式世界建模的五类神经环路实例，它们分别支撑着物理空间与概念空间中的导航能力、基于可供性（affordance）的物体感知与交互、主动感知与探索式学习、内稳态调控与情绪调节，以及区分自我生成结果与外部世界生成结果的能力。这些实例凸显出当前具身人工智能普遍缺失的若干关键特征：其一，内在动力学机制是学习的根本基础；其二，行动居于核心地位，是使内在动力学与外部世界保持协调的关键环节；其三，自主经验与开放式学习占据主导，而非被动接收并同化外部提供的数据；其四，早期形成的预测机制与控制机制，构成了推理、概念化导航、规划、想象、理解他人心理状态及人际沟通等高级认知能力的底层支撑。最后，我们探讨了源自生物系统的原理能否以及如何指导未来具身人工智能的发展路径，其中包括借鉴社会互动机制设计新型训练范式，从而构建不仅具备现实根基、而且能实现社会共享，并与人类规范及价值观相一致的世界模型。

我们推出了DiffusionGemma——一款实验性质的开源权重语言模型，采用离散扩散（discrete diffusion）机制实现超高速文本生成。与传统自回归（AR）大语言模型逐词解码不同，DiffusionGemma以256词为单位，对文本块进行并行迭代优化，从而规避了自回归模型固有的串行解码瓶颈。该模型并非从零训练，而是在混合专家架构的Gemma-4模型（激活参数量3.8B，总参数量25.2B）基础上微调得到。我们设计了一种计算高效的两阶段训练流程，整体训练所用token总量不足原始AR模型初始训练预算的10%：第一阶段采用监督式微调（SFT），教会模型执行双向去噪；第二阶段则融合强化学习与采样器蒸馏（sampler distillation），同步提升生成质量与推理效率。DiffusionGemma在生成速度与模型能力之间确立了全新的帕累托最优前沿（Pareto frontier）。在其全部评估任务上的平均表现显示，每次前向传播可生成约20个词元，单张NVIDIA H100 GPU上输出吞吐量达约1500词元/秒——即便对比当前最先进的推测解码（speculative decoding）技术，其速度仍显著优于各类自回归模型。此外，DiffusionGemma完整保留了原始模型对“思维模式”（thinking mode）、多模态输入以及长上下文的支持能力。值得注意的是，尽管经过扩散式微调，该模型仍能以自回归方式生成文本，且性能仅出现轻微下降，这为未来构建兼具扩散与自回归特性的混合解码范式提供了可行路径。

大语言模型（LLMs）已成为众多任务的默认工具，但在机器学习中最常见的一类工作负载——面向表格数据的预测分析上，却始终收效甚微。这一显著落差，构成了当前快速兴起的“表格基础模型”（tabular foundation models）领域的立论根基；然而，通用大语言模型为何在此类任务上表现不佳，其根本原因迄今仍未厘清。本研究在最纯粹的推理模式下考察了一个前沿大语言模型：即仅执行单次生成过程，输入提示（prompt）中完整包含全部训练数据与测试数据，且不借助任何外部工具、不采用智能体式（agentic）架构设计、也不进行任何微调。在此设定下，我们系统性地检验了五种可能的失败原因假说：（a）无法处理含噪声或非线性不可分的数据；（b）以线性化CSV格式表示数据，掩盖了列之间的结构关系；（c）数值型字段在分词（tokenisation）过程中被离散化处理；（d）单次查询中需分类的测试样本数量过多；（e）输入数据的维度（dimensionality）过高。通过受控实验，我们逐一证伪了假说（a）至（d）。相比之下，维度因素则起着决定性作用：我们在31个基准数据集上开展大规模随机线性投影实验，结果表明，在所比较的九种方法中，大语言模型是唯一一种随输入维度升高而准确率持续下降的方法；而所有经典基线模型的性能则保持稳定，甚至有所提升。进一步将大语言模型的行为表现与252种经配置的经典模型进行对比发现：当输入为二维时，该大语言模型的预测行为类似于一种基于局部邻域与距离的算法（在网格预测一致性指标上高达91.6%）；但当维度升高后，没有任何一种经典模型——即便额外引入经过精细调优、且与维度相适应的噪声机制——能够复现其预测结果。我们并不声称已揭示其内部运作机制；我们的研究结果更为审慎地表明：大语言模型在表格预测任务上的能力会随维度升高而系统性衰减，而这种衰减模式无法被任何受噪声干扰的经典学习器所模拟。这便解释了为何大语言模型在其他领域表现卓越，却始终在表格数据任务上输给已有五十年历史的经典基线方法；至于其预测行为背后的具体机制，则仍是一个有待探索的开放问题。

我们认为，AI模型中的表示，特别是深度网络中的表示，正在趋于一致。首先，我们在文献中调查了许多收敛的例子：随着时间的推移和跨多个领域，不同神经网络表示数据的方式越来越趋于一致。接下来，我们展示了跨数据模态的收敛：随着视觉模型和语言模型变得更大，它们以越来越相似的方式测量数据点之间的距离。我们假设这种收敛正在朝着一个共享的统计现实模型发展，类似于柏拉图的理念。我们将这样的表示称为柏拉图表示，并讨论了几种可能的选择压力。最后，我们讨论了这些趋势的影响、它们的局限性以及我们分析的反例。

计算机蠕虫是一种恶意软件，它通过在网络中从一台机器自我复制到另一台机器而实现传播。传统蠕虫（如“WannaCry”）依赖于预先已知的漏洞进行攻击，只要及时修补这些漏洞，其传播即可被有效阻断。本文表明，人工智能（AI）智能体催生了一种根本性的新型威胁：一种能够针对其所遭遇的每个目标自动生成定制化攻击策略的蠕虫。该蠕虫以寄生方式利用已被攻陷的设备运行开源权重的大语言模型（LLM），既借此维持自身的推理能力，也借此拓展攻击范围、发动进一步攻击。我们在一个涵盖Linux、Windows及物联网（IoT）设备的异构企业网络环境中部署了该蠕虫；其传播过程依赖于利用现实中普遍存在、真实存在的企业网络通用漏洞。由于该蠕虫所依赖的算力完全来自窃取的计算资源，攻击者每新增一次感染的边际成本为零——这在攻防双方之间造成了严重的经济失衡，显著削弱了防御方的可持续应对能力。此外，由于该蠕虫无需依赖任何商业AI平台，因此诸如服务拒绝、调用频率限制等由中心化平台实施的安全管控机制，在结构上对其完全无效。我们的实验结果证实：具备自我维持能力的AI驱动型网络威胁已不再是理论构想，而成为现实风险。我们必须未雨绸缪，积极应对“自主生成式对手”——即一类无需人工操作即可自主传播的恶意软件系统；这类系统不再由固定的漏洞利用代码所定义，而是由其面向目标开展推理、依据实时观测动态适应、并在运行时即时合成攻击逻辑的核心能力所界定。

我们提出了无限SLAM Transformer（SLAMFormer-∞），这是首个无需显式距离约束即可同时支持长程前端与后端处理的几何Transformer模型。不同于以往依赖首帧锚定（first-frame-anchored）的建模方式，SLAMFormer-∞通过内存条件（memory conditions）来动态定义各输入帧的灵活坐标系与尺度，从而实现更具表达力的结构化条件建模。基于这一新范式，前端模块仍保持高效的局部计算能力，而后端模块则以全局一致的方式联合优化长程运动轨迹与场景几何结构。实验结果表明，SLAMFormer-∞在大规模数据集上的轨迹估计与场景重建两项任务中，均取得优越或极具竞争力的性能。尤为值得注意的是，SLAMFormer-∞具备优异的泛化能力，可成功处理极长轨迹——其运行序列长度超过17公里。