在大型语言模型中，对建模长上下文的需求持续增长，但标准自注意力机制的二次复杂度常常成为瓶颈。尽管现有的稀疏注意力机制在效率上有所提升，但仍可能面临模式固定或信息丢失等问题。我们提出了一种可训练的动态掩码稀疏注意力机制——Dynamic Mask Attention（DMA），它有效地结合了内容感知和位置感知的稀疏性。 DMA通过两项关键技术实现这一目标：首先，它从值表示中动态生成内容感知的稀疏掩码，使模型能够自适应地识别并聚焦于关键信息；其次，它实现了位置感知的稀疏注意力计算，有效地跳过不必要的计算区域。这种双稀疏性设计使模型在显著降低关键信息计算复杂度的同时，保留了完整的信息，从而在信息保真度与计算效率之间实现了出色的平衡。 我们通过全面的实验验证了DMA的性能。对比研究表明，在符合Chinchilla缩放定律设置的情况下，DMA在困惑度（perplexity）指标上优于多头注意力、滑动窗口注意力、多头隐式注意力以及原始稀疏注意力等方法。此外，在具有挑战性的多跳关联记忆任务中，DMA也展现出优于这些方法的表现与效率。尤其关键的是，在评估17亿参数模型时，DMA在标准基准测试性能以及“大海捞针”（needle-in-a-haystack）任务中均显著优于多头注意力机制。这些实验结果突出了DMA在有效平衡模型效率与长上下文建模能力方面的卓越能力。

我们推出了Goedel-Prover-V2，这是一系列开源语言模型，在自动定理证明领域树立了新的最先进水平。我们的方法基于标准的专家迭代和强化学习流程，融合了三项关键创新：（1）支架式数据合成——我们生成难度递增的合成任务，以训练模型掌握日益复杂的定理；（2）验证器引导的自我修正——我们利用Lean编译器的反馈，使模型能够迭代修改其证明；（3）模型平均——我们合并模型检查点，以缓解训练后期模型输出多样性下降的问题。我们的小型模型Goedel-Prover-V2-8B在MiniF2F上的pass@32指标达到84.6%，在相同指标下表现优于DeepSeek-Prover-V2-671B，尽管其规模仅为后者的1/80。我们的旗舰模型Goedel-Prover-V2-32B在标准模式下MiniF2F的pass@32得分为88.1%，在自我修正模式下达到90.4%，大幅超越了之前的最先进水平。此外，该旗舰模型在PutnamBench测试中pass@184解决了86个问题，在排行榜上位列开源模型首位，超过了DeepSeek-Prover-V2-671B在pass@1024下解决47个问题的记录，同时使用的模型规模和计算资源显著更少。在发布之时（2025年7月至8月），Goedel-Prover-V2在所有开源定理证明系统中实现了最强的综合性能。即使在有限的测试计算预算下，它也跻身表现最佳的模型之列，包括那些公开报告性能的闭源系统。我们的模型、代码和数据已发布在https://github.com/Goedel-LM/Goedel-Prover-V2。

我们介绍了GameNGen，这是第一个完全由神经模型驱动的游戏引擎，可实现高质量的长时间轨迹复杂环境的实时交互。GameNGen可以在单个TPU上以每秒20多帧的速度交互式地模拟经典游戏DOOM。下一帧预测的峰值信噪比为29.4，可与有损JPEG压缩相媲美。人类评分者在区分游戏短片和模拟短片方面仅略好于随机猜测。GameNGen分两个阶段进行训练：(1)强化学习代理学习游戏并记录训练会话，(2)扩散模型在过去的帧和动作序列的条件下进行训练以生成下一帧。条件增强使得长时间轨迹上的稳定自回归生成成为可能。

我们介绍了Genie，这是第一个从未标注的互联网视频中以无监督方式训练的生成交互环境。该模型可以被提示生成无尽多样的可控动作虚拟世界，这些世界可以通过文本、合成图像、照片甚至草图来描述。在110亿参数的规模下，Genie可以被视为基础世界模型。它由一个时空视频标记器、一个自回归动态模型以及一个简单可扩展的潜在动作模型组成。尽管没有任何基于真实动作标签或其他通常在世界模型文献中找到的领域特定要求的训练，但Genie使用户能够在生成的环境中逐帧行动。此外，所得到的学习潜在动作空间有助于训练代理人模仿来自未见过的视频的行为，为未来训练通用代理人铺平了道路。

随着大型语言模型（LLM）的出现，提出了基于LLM的多智能体系统（LLM-MA系统）来解决实际问题。然而，它们的智能体大多遵循预定义的标准操作程序（SOP），这些程序在整个交互过程中保持不变，缺乏自治性和可扩展性。此外，当前解决方案经常忽视了有效的智能体合作的必要性。为了解决上述限制，我们提出了MegaAgent，这是一个实用的框架，旨在实现大规模LLM智能体系统的自主合作。MegaAgent利用智能体的自治性，根据任务要求动态生成智能体，包括自动分配任务、系统化规划和监控智能体活动以及管理并发操作等功能。此外，MegaAgent采用分层结构和系统级并行处理来提高性能和增强通信。我们通过五子棋游戏开发证明了MegaAgent的有效性，显示它优于流行的LLM-MA系统；并通过国家政策模拟展示了它的高自治性和快速扩展到590个智能体的潜力，同时确保它们之间的有效合作。我们的研究结果表明，MegaAgent是第一个没有预定义SOP、高效可扩展的自主大规模LLM-MA系统，为进一步研究开辟了道路。我们的代码位于https://anonymous.4open.science/r/MegaAgent-81F3。

在线行为研究正面临一个日益严峻的威胁：随着参与者越来越多地借助大型语言模型（LLMs）提供建议、翻译或委托任务，研究正遭遇“LLM污染”。我们识别出三种相互关联的LLM污染形式，它们从不同层面威胁着在线行为研究的有效性和完整性。 第一，“部分LLM中介”是指参与者在任务中选择性地使用LLM，例如用于翻译或措辞辅助，导致研究人员将经LLM塑造的输出误认为是纯人类的反应。第二，“完全LLM代理”是指具备代理能力的LLM在几乎没有人类监督的情况下完成整个研究任务，这在更基础的层面上动摇了以人为中心的研究前提。第三，“LLM溢出效应”指的是参与者在预期在线研究中可能存在LLM的情况下，即使实际并未使用LLM，其行为本身也发生了改变。 “部分中介”和“完全代理”构成了一个从低到高自动化程度的连续体，而“LLM溢出效应”则反映了次级反应效应。这三种形式相互作用，引发连锁性的扭曲，损害样本的真实性，引入事后难以察觉的偏差，最终削弱了在线人类认知与行为研究的知识基础。尤为关键的是，LLM污染的威胁正随着生成式人工智能技术的发展而不断演变，引发一场日益升级的方法论“军备竞赛”。 为应对这一挑战，我们提出一种多层次的应对策略，涵盖研究者实践、平台责任以及学术共同体的努力。随着问题的演进，唯有协调一致的适应性措施，才能保障研究方法的完整性，并维护在线行为研究的科学有效性。

随着音频大语言模型（ALLM）成为语音处理领域的强大工具，其安全性问题也迫切需要引起关注。尽管已有大量研究探讨了文本和视觉内容的安全问题，但音频所具有的独特特性带来了显著的挑战。本文首先探讨了一个关键问题：音频大语言模型是否容易受到利用声学触发机制的后门攻击？针对这一问题，我们提出了“隐匿于噪声”（Hidden in the Noise, HIN）这一全新的后门攻击框架，专门利用细微且与音频特性相关的特征。HIN通过对原始音频波形进行声学修改来实现攻击，例如调整时间动态特性，或在频谱上精心设计并注入噪声。这些修改会在音频流中引入一致的模式，被ALLM的声学特征编码器捕捉，从而嵌入强健的触发机制。 为了评估ALLM对基于声学特征触发机制的鲁棒性，我们构建了AudioSafe基准测试，涵盖了九种不同类型的安全风险。在AudioSafe以及三个现有的安全数据集上进行的大量实验揭示了当前ALLM中存在的关键漏洞：（I）诸如环境噪声和语速变化等音频特征可实现超过90%的平均攻击成功率；（II）ALLM对不同的声学特征表现出显著的敏感性差异，尤其是对音量作为触发特征几乎无反应；（III）即便在训练数据中仅混入少量恶意样本，损失曲线也仅有轻微波动，凸显了该攻击方式的隐蔽性。

大型语言模型（LLMs）作为自主代理展示了非凡的能力，但现有的基准测试要么专注于单个代理任务，要么局限于狭窄的领域，无法捕捉多代理协调和竞争的动态。在本文中，我们介绍了MultiAgentBench，这是一个全面的基准测试框架，旨在评估基于LLM的多代理系统在多样化的互动场景中的表现。我们的框架不仅衡量任务完成情况，还使用新颖的、基于里程碑的关键绩效指标来评估协作和竞争的质量。此外，我们评估了各种协调协议（包括星型、链型、树型和图结构拓扑）以及创新策略，如小组讨论和认知规划。值得注意的是，gpt-4o-mini 在任务得分上达到了平均最高分，在研究场景中，图结构在协调协议中表现最佳，而认知规划使里程碑达成率提高了3%。代码和数据集可在 https://github.com/MultiagentBench/MARBLE 公开获取。

在基础模型（尤其是大语言模型）的分布式训练中，对通信性能的要求非常高，因此高度依赖具备高速可靠互联能力的集中式集群。那么，我们是否可以在较慢的网络条件下进行训练，从而在处理超过千亿参数的模型时释放出分布式集群的潜力呢？本文提出了DiLoCoX，这是一种低通信开销的大规模分布式集群训练框架。该框架结合了流水线并行、双优化器策略、通信与本地训练的一步延迟重叠机制以及自适应梯度压缩方案。这种组合显著提升了可训练参数的规模和模型预训练的速度。我们通过收敛性理论分析，验证了一步延迟通信重叠本地训练以及自适应梯度压缩方案所带来的优势。实验结果表明，DiLoCoX能够在1Gbps的网络环境下完成1070亿参数基础模型的预训练。相比传统的AllReduce方法，DiLoCoX在保持模型收敛效果几乎不受影响的前提下，将分布式训练速度提升了357倍。据我们所知，这是首个成功应用于千亿参数以上模型的分布式训练框架。

社交媒体平台普遍被认为与诸多社会危害有关，包括日益加剧的政治极化以及建设性讨论的减少。这些问题能否通过亲社会的干预措施得到缓解？我们采用一种新方法——生成式社会模拟——来探讨这一问题，该方法将大语言模型嵌入基于主体的模型中，从而创建出具有丰富社会互动的合成平台。我们构建了一个最简化的平台，允许智能体发帖、转发以及关注他人。研究发现，由此形成的关注网络再现了三种已有充分记录的不良现象：（1）党派回音室效应；（2）影响力集中在少数精英群体手中；（3）极端化声音被放大，形成一个扭曲政治讨论的“社交媒体棱镜”。我们测试了六种被提出的干预措施，从按时间顺序排列的信息流到促进跨群体连接的算法，结果发现仅能带来有限的改善，有些干预甚至导致情况恶化。这些结果表明，这些核心问题可能源于互动性参与与网络增长之间的反馈机制，这意味着要实现有意义的改革，可能需要重新思考平台架构的基本运作机制。