网络智能代理（如 Deep Research）已展现出超越人类的认知能力，能够解决极具挑战性的信息检索问题。然而，目前大多数研究仍主要以文本为中心，忽略了现实世界中的视觉信息。这使得多模态的 Deep Research 变得极具挑战性，因为相比纯文本代理，这类代理需要在感知、逻辑、知识运用等方面具备更强的推理能力，并需使用更为复杂的工具。为了解决这一局限，我们提出了 WebWatcher——一个具备增强视觉-语言推理能力的多模态 Deep Research 代理。该代理利用高质量的合成多模态轨迹进行高效的冷启动训练，借助多种工具实现深度推理，并通过强化学习进一步提升其泛化能力。 为了更全面地评估多模态代理的能力，我们提出了 BrowseComp-VL 基准测试，该测试采用 BrowseComp 风格的任务设计，要求同时处理视觉与文本信息的复杂信息检索任务。实验结果表明，WebWatcher 在四个具有挑战性的视觉问答（VQA）基准测试中，显著优于专有基线系统、RAG 工作流以及开源代理，为解决复杂的多模态信息检索任务铺平了道路。

大型语言模型（LLM）驱动的智能体的出现，通过基于网络的信息检索（IS）能力，使人工智能在解决复杂且开放性的任务方面发生了革命性的变化。然而，高质量训练数据的匮乏限制了信息检索智能体的发展。现有的方法通常采用一种以信息为中心的范式，即首先收集网络数据，然后基于检索结果生成问题。但这种方法可能导致信息结构与推理结构、问题与答案之间出现不一致。为缓解这一问题，我们提出了一种以形式化驱动的信息检索数据合成框架WebShaper，用于构建高质量的数据集。 WebShaper通过集合论对信息检索任务进行系统的形式化表达。其核心在于“知识投影”（Knowledge Projections，KP）这一概念，它通过KP操作的组合，实现了对推理结构的精确控制。在数据合成过程中，我们首先创建初始任务，然后采用多步骤扩展流程逐步生成更复杂的任务。在每一步中，一个具备代理能力的“扩展器”（Expander）会基于我们的形式化框架，利用检索和验证工具将当前的问题形式逐步扩展得更为复杂。我们使用该合成数据集对模型进行训练。实验结果表明，WebShaper在GAIA和WebWalkerQA两个信息检索智能体基准测试中，在开源模型中达到了最先进的性能水平。

超越人类认知的局限性是大语言模型训练中的一个关键前沿领域。像DeepResearch这样的专有智能体系统已经在极其复杂的寻址信息类基准测试（如BrowseComp）中展现出了超人的能力，这是此前无法实现的成就。我们认为，它们的成功依赖于一种目前开源模型中尚未具备的复杂推理模式：即在面对海量信息环境时，能够系统性地降低极端不确定性的能力。基于这一洞见，我们提出了WebSailor，这是一种完整的后训练方法论，旨在赋予模型这种关键能力。我们的方法包括通过结构化采样与信息模糊技术生成新颖的高不确定性任务、RFT冷启动策略，以及一种高效的智能体强化学习算法——复制采样策略优化（DUPO）。通过这一整套集成的训练流程，WebSailor在复杂的信息检索任务中显著优于所有现有的开源智能体，其表现已达到专有智能体的水平，大幅缩小了二者之间的能力差距。

在许多任务领域中，进步往往源于对先前解决方案尝试的不断修订。训练能够在推理过程中对这种修订序列进行可靠自我改进的智能体，是强化学习（RL）的一个自然目标。然而，简单的方法通常假设固定的、最大的迭代次数，这种方式既可能代价高昂，又可能显得武断。我们提出了探索性迭代（ExIt），这是一种自课程强化学习方法家族，它直接利用自我改进任务的循环结构，训练大语言模型（LLMs）在推理过程中执行多步骤的自我改进，同时仅基于训练过程中最具信息量的单步迭代数据进行学习。ExIt通过在一次任务过程中有选择地采样遇到的最具信息量的中间、部分历史记录，将其继续迭代，并将这些起点视为新的自我迭代任务实例，以训练自我改进策略。ExIt还可以结合显式的探索机制，以维持更高的任务多样性。在多个领域中（包括竞赛数学、多轮工具使用和机器学习工程），我们展示了ExIt策略能够从单个或多个任务实例出发，训练出在推理过程中展现出强大自我改进能力的策略，并具备在超出训练过程中所见平均迭代深度的步骤预算内持续迭代、提升性能的能力。

输入空间重构是一种有吸引力的表示学习范例。尽管重构和生成的可解释性，我们发现学习重构与学习感知之间存在不匹配。我们表明，前者将模型的容量分配到数据的子空间中，该子空间解释了观察到的方差——这是后者中无信息特征的子空间。例如，将图像投影到解释90％像素方差的顶部子空间上的TinyImagenet监督任务可以通过45％的测试准确度解决。相反，使用仅解释20％像素方差的底部子空间可以达到55％的测试准确度。学习感知的特征最后被学习，这解释了长时间训练的必要性，例如使用蒙版自动编码器。通过去噪学习是缓解这种不匹配的流行策略。我们证明了，虽然一些噪声策略（如蒙版）确实有益，但其他策略（如加性高斯噪声）则不是。然而，即使在蒙版的情况下，我们发现收益也会因掩码的形状、比例和考虑的数据集而有所不同。虽然在没有感知任务的知识的情况下调整噪声策略似乎很具有挑战性，但我们提供了第一个线索，以便检测噪声策略是否从未有益，无论感知任务如何。

本文提出了 ManiFlow，这是一种用于通用机器人操作的视觉运动模仿学习策略，能够根据多样化的视觉、语言和本体感觉输入生成精确的高维动作。我们利用结合一致性训练的流匹配方法，仅需 1-2 步推理即可生成高质量的灵巧动作。为了高效处理多种输入模态，我们提出了 DiT-X，这是一种具有自适应交叉注意力机制和 AdaLN-Zero 条件控制的扩散变换器架构，能够实现动作标记与多模态观测之间的细粒度特征交互。ManiFlow 在多种模拟基准任务中均表现出一致的性能提升，并在真实世界任务中，针对单臂、双臂和人形机器人设置下的任务成功率接近翻倍。广泛的评估进一步表明，ManiFlow 对新物体和背景变化具有很强的鲁棒性和泛化能力，同时也展现出随着数据集规模扩大而提升的优秀扩展性。我们的网站：maniflow-policy.github.io。

近年来，人们开发出了一些软件，这些软件利用机器学习技术来模仿特定作曲家的创作风格，例如J. S. 巴赫。然而，由于这类软件通常采用结构复杂的机器学习模型，因此很难分析它们是如何理解和学习作曲家音乐特征的。在本研究中，我们选用J. S. 巴赫的音乐对限制玻尔兹曼机（RBM）进行训练。由于RBM的结构相对简单，使我们能够探究其学习完成后的内部状态。我们发现，训练后的RBM具备了创作音乐的能力。

主流的基于Transformer的大语言模型面临着严重的效率瓶颈：训练计算量随着序列长度呈平方级增长，而推理时内存则线性增长，这限制了对长上下文的处理能力。在非NVIDIA平台上构建大模型也对稳定且高效的训练提出了挑战。为此，我们提出了SpikingBrain，这是一系列受大脑启发的模型，专为高效进行长上下文训练和推理而设计。SpikingBrain依托MetaX GPU集群，从三个方面展开工作：（1）模型架构：采用线性注意力和混合线性注意力架构，并引入自适应脉冲神经元；（2）算法优化：构建高效的基于转换的训练流程，并设计专用的脉冲编码框架；（3）系统工程：开发了针对MetaX硬件定制的训练框架、算子库以及并行策略。 通过这些技术，我们构建了两个模型：SpikingBrain-7B，一个线性注意力的大语言模型，以及SpikingBrain-76B，一个混合线性注意力的专家混合（MoE）大语言模型。这些模型验证了在非NVIDIA平台上进行大规模大语言模型开发的可行性。SpikingBrain在仅使用约1500亿token进行持续预训练的情况下，即可实现与开源Transformer基线模型相当的性能。我们的模型显著提升了长序列训练的效率，并实现了（部分）恒定内存占用和事件驱动的脉冲推理行为。例如，对于400万token的长序列，SpikingBrain-7B在“首字生成时间”（Time to First Token）上实现了超过100倍的加速。在数百块MetaX C550 GPU上，训练可以稳定运行数周，其中7B模型达到了23.4%的模型FLOPs利用率。所提出的脉冲机制实现了69.15%的稀疏性，从而支持低功耗运行。总体而言，本研究展示了受大脑启发的机制在推动下一代高效、可扩展的大模型设计方面的巨大潜力。

我们提出了Robix，这是一个统一的模型，将机器人推理、任务规划和自然语言交互整合到一个视觉-语言架构中。作为分层机器人系统中的高层认知模块，Robix能够动态生成供底层控制器使用的原子命令，以及供人机交互使用的自然语言回应，使机器人能够在端到端框架内遵循复杂指令、规划长期任务，并与人类进行自然交互。Robix还引入了多项新功能，例如主动对话、实时中断处理，以及在任务执行过程中的上下文感知常识推理。核心上，Robix利用了思维链推理，并采用了三阶段训练策略：（1）持续预训练，以增强基础的具身推理能力，包括三维空间理解、视觉指代理解和以任务为中心的推理；（2）监督微调，将人机交互与任务规划建模为统一的推理-动作序列；（3）强化学习，以提升推理与动作之间的一致性以及长期任务的连贯性。大量实验表明，Robix在交互式任务执行方面优于开源和商业基线模型（例如GPT-4o和Gemini 2.5 Pro），并在多种指令类型（如开放性、多阶段、受限性、无效性及被中断的指令）以及涉及用户的各类任务（如清理餐桌、购买杂货和饮食筛选）中展现出强大的泛化能力。

Guardian模型用于监督和管理面向用户的聊天机器人的输出，执行防护规则并检测不良行为。像LlamaGuard这样的标准Guardian模型可以检测预定义的、静态类型的危害内容。我们提出了动态Guardian模型，它根据用户自定义的政策来评估文本，使其适用于标准Guardian模型无法覆盖的多种应用场景。我们的动态Guardian模型既可用于快速检测违反政策的内容，也可结合思维链推理对模型输出进行详细说明和论证。在检测静态危害类别方面，我们的动态Guardian模型与静态模型的准确性相当，同时在识别自由形式政策违规方面，其准确性与前沿的推理模型相当，但仅需其一小部分时间。