借助大语言模型（LLMs）驱动的深度研究代理正在快速发展；然而，在使用通用的测试时扩展算法生成复杂、长篇的研究报告时，其表现往往趋于瓶颈。受人类研究迭代本质的启发——这一过程包括搜索、推理与修订的循环——我们提出了测试时扩散深度研究者（TTD-DR）。这一新框架将研究报告的生成概念化为一个扩散过程。TTD-DR从一个初步草稿开始这一过程，该草稿是一个可更新的框架，作为不断演进的基础，用以引导研究方向。随后，该草稿通过一个“去噪”过程进行迭代优化，这一过程由一个检索机制动态支持，在每一步中引入外部信息。该核心过程进一步通过应用于代理工作流各个组件的自进化算法得到增强，确保为扩散过程生成高质量的上下文。这种以草稿为中心的设计使报告撰写过程更加及时、连贯，同时减少了迭代搜索过程中的信息丢失。我们证明，TTD-DR在需要密集搜索和多跳推理的多种基准测试中达到了最先进的水平，显著优于现有的深度研究代理。

要高速执行诸如深度学习等科学计算程序，GPU加速是一个强大的选择。随着网络技术的最新进展，像WebGL和WebGPU这样的接口已经出现，这些接口可以在Web应用程序的客户端利用GPU。另一方面，Pyodide是一个可以在网页浏览器中运行的Python运行时环境，它允许用Python编写Web应用程序，但只能利用CPU，因此仍有加速的空间。 我们提出的新库WgPy，在网页浏览器中通过与NumPy兼容的接口提供了基于GPU的数组计算能力。该库不仅在WebGL和WebGPU上实现了矩阵乘法等数组操作，还允许用户使用最少的语法知识编写可以在GPU上运行的自定义内核，从而以最小的开销运行各种算法。WgPy还实现了一种特殊的线程同步机制，将JavaScript的异步语义与Python的同步语义桥接起来，使得为CUDA编写的、与NumPy兼容的数组库CuPy的代码可以直接在网页浏览器中运行。 在涉及训练卷积神经网络（CNN）模型的实验中，它的处理速度比CPU执行快95倍。

神经辐射场和3D高斯点绘已经革新了3D重建和新视角合成任务。然而，从极端的新视角实现照片级逼真的渲染仍然具有挑战性，因为各种表示中仍然存在伪影。在这项工作中，我们引入了Difix3D+，这是一种全新的管道设计，旨在通过单步扩散模型增强3D重建和新视角合成。 我们的方法核心是Difix，一种单步图像扩散模型，训练用于增强和消除由于3D表示的欠约束区域而产生的新视角渲染中的伪影。Difix在我们的管道中扮演两个关键角色。首先，在重建阶段使用它来清理从重建中渲染并重新提炼回3D的伪训练视图。这大大增强了欠约束区域，提高了整体3D表示的质量。更重要的是，Difix还在推理过程中充当神经增强器，有效去除由不完美的3D监督和当前重建模型有限容量引起的残余伪影。 Difix3D+是一个通用解决方案，单一模型即可兼容NeRF和3DGS表示，并且在保持3D一致性的同时，相比基线模型平均提升了2倍的FID分数。

随着表征学习领域的发展，为了解决不同类别的问题，出现了大量不同的损失函数。我们引入了一个单一的信息论方程，该方程概括了机器学习中一大类现代损失函数。具体来说，我们提出了一种框架，表明几大类机器学习方法实际上是在最小化两个条件分布之间的综合KL散度：监督分布和学习到的表征分布。这一视角揭示了聚类、谱方法、降维、对比学习和监督学习背后隐藏的信息几何结构。该框架通过结合文献中成功的技巧，能够开发新的损失函数。我们不仅提供了广泛的证明，连接了超过23种不同的方法，还利用这些理论结果创建了最先进的无监督图像分类器，在ImageNet-1K数据集上的无监督分类任务中，比之前的最先进方法提升了8%。此外，我们还展示了I-Con可以用于推导出有原则的去偏方法，从而改进对比表征学习器的表现。

最近，基于扩散和流动的蛋白质结构生成模型已成为从头设计蛋白质的强大工具。在此基础上，我们开发了Proteina，这是一种新的大规模基于流动的蛋白质主链生成器，它利用分层折叠类标签进行条件化，并依赖于一种定制的可扩展变压器架构，其参数量最多为先前模型的5倍。为了有意义地量化性能，我们引入了一组新的指标，这些指标直接测量生成的蛋白质与参考集之间的分布相似性，从而补充现有的指标。我们进一步探索将训练数据扩展到数百万个合成蛋白质结构，并研究改进的训练和采样方法，以适应蛋白质主链生成。这包括针对蛋白质主链的微调策略（如LoRA），以及新的引导方法（如无分类器引导和自引导）和新的调整后的训练目标。Proteina在从头设计蛋白质主链方面达到了最先进的性能，能够以前所未有的长度（最多800个残基）生成多样且可设计的蛋白质。分层条件化提供了新的控制手段，使高级别的二级结构引导和低级别的特定折叠生成成为可能。

本研究提出了一种统一的理论框架，称为生成性涌现通信（Generative EmCom），通过集体预测编码（CPC）的视角，将涌现通信、世界模型和大语言模型（LLMs）联系起来。该框架通过多个代理之间的去中心化贝叶斯推理形式化了语言和符号系统的涌现过程，超越了传统的基于判别模型的涌现通信方法。本研究做出了以下两项关键贡献：首先，我们提出了生成性EmCom作为一种新的框架来理解涌现通信，展示了如何从控制即推理的角度推导出多智能体强化学习（MARL）中的通信涌现，并阐明了其与传统判别方法的关系。其次，我们提出了一种数学表述，解释了如何通过CPC将多个代理的经验整合为集体世界模型，从而将大语言模型视为集体世界模型。该框架提供了一个统一的理论基础，用以理解共享符号系统如何通过集体预测编码过程涌现，从而弥合个体认知发展和社会语言演变之间的鸿沟。通过数学公式和对先前工作的讨论，我们展示了这一框架如何解释语言涌现的基本方面，并为理解和开发复杂的人工智能系统提供了实用见解，以改善人机交互和多智能体系统。

稀疏注意力机制为扩展Transformer大语言模型的长上下文能力提供了一种有前景的策略，但其可行性、效率与准确性的权衡，以及系统的扩展性研究仍有待探索。为填补这一空白，我们在不同模型规模、序列长度和稀疏性水平下，对无需训练的稀疏注意力方法进行了细致的比较分析，涉及的任务集合包括多种长序列任务，其中一些是新颖的，依赖自然语言的同时保持可控性和易于评估的特性。基于我们的实验结果，我们报告了一系列关键发现：1) 等量浮点运算（isoFLOPS）分析表明，对于非常长的序列，更大且高度稀疏的模型比更小且密集的模型更具优势。2) 在统计上保证准确率不变的情况下，解码阶段可实现的稀疏性水平高于预填充阶段，并且在解码阶段该水平与模型大小相关。3) 没有一种明确的策略能在所有任务和阶段中表现最佳，不同的场景需要不同的稀疏化单元或预算自适应策略。即使在中等稀疏性水平下，至少在一个任务上往往会显著降低性能，这表明稀疏注意力并非通用解决方案。4) 我们引入并验证了专为稀疏注意力设计的新扩展规律，证明我们的发现很可能超出当前实验范围仍然成立。通过这些洞见，我们展示了稀疏注意力是增强Transformer大语言模型处理更长序列能力的关键工具，但在对性能敏感的应用中，仍需仔细评估其权衡关系。

扩大语言模型的规模能够释放出令人印象深刻的能力，但随之而来的计算和内存需求也使得训练和部署成本高昂。现有的效率优化方法通常要么专注于参数共享，要么采用自适应计算策略，但如何同时实现这两方面的效率仍是一个未解的问题。我们提出了“递归混合”（Mixture-of-Recursions，MoR）这一统一框架，将参数共享与自适应计算两个效率维度融合在一个统一的递归Transformer结构中。MoR在不同的递归步骤中复用一组共享的层堆栈，从而实现参数效率，同时通过轻量级路由模块，在每个token层面实现自适应的“思考”深度，动态地为不同token分配不同的递归层数。这使得MoR仅在处于特定递归深度的活跃token之间进行二次复杂度的注意力计算，并通过仅缓存这些token的键值对（KV）来进一步提升内存访问效率。除了这些核心机制外，我们还提出了一种KV共享变体，复用首次递归中的键值对，专门用于降低prefill阶段的延迟和内存占用。在从1.35亿到17亿参数的不同模型规模上，MoR构建了一个新的帕累托前沿：在训练计算量相同甚至模型更小的情况下，MoR显著降低了验证集困惑度，提升了少样本准确率，同时相比普通模型和现有的递归基线模型，实现了更高的吞吐量。这些优势表明，MoR为在不承担大规模模型成本的前提下实现大模型质量提供了一条有效的路径。

本文介绍了离散时间混合自动机学习（DHAL），这是一种使用基于策略的强化学习框架来识别和执行模式切换的方法，无需轨迹分割或事件函数学习。混合动力系统包括连续流和离散模式切换，可以用于建模诸如足式机器人运动等机器人任务。基于模型的方法通常依赖于预定义的步态，而非基于模型的方法则缺乏明确的模式切换知识。现有方法通过先进行分割再回归连续流来识别离散模式，但不借助轨迹标签或分割学习高维复杂刚体动力学是一个具有挑战性的开放问题。我们的方法结合了贝塔策略分布和多批评家架构来模拟接触引导的动作，以一个具有挑战性的四足机器人滑板任务为例。我们通过仿真和实际测试验证了该方法的有效性，展示了其在混合动力系统中的稳健性能。

本文深入探讨了元提示（Meta Prompting）技术，这是一种革新大型语言模型（LLM）、多模态基础模型和人工智能系统解决问题和数据解释的方法。元提示基于类型理论和范畴论，注重信息的结构和语法，提供了一个超越传统内容为中心方法的独特框架。我们深入探讨了元提示的正式定义，将其与少样本提示进行对比，并强调了其在各种人工智能应用中的适用性和优越性。 本文探索的关键是将元提示扩展到复杂推理领域。在这里，我们展示了这种技术如何将复杂问题分解成可管理的子问题，促进了一种逐步详细的解决问题的方法。这种方法在令牌效率和在解决问题场景中提供公平比较方面尤其有利，与少样本示例方法相比更加出色。 此外，本文通过将元提示扩展到多模态基础模型设置中，开创了新的领域。这种扩展解决了在元提示的结构化框架内集成多种数据类型（如图像、音频和视频）的问题，凸显了这种方法在处理复杂多面向数据方面所面临的挑战和巨大潜力。（代码可在https://github.com/meta-prompting/meta-prompting上找到。）