潜在的随机微分方程（SDE）是时间序列和序列建模的强大工具。然而，训练潜在SDE通常依赖于伴随敏感性方法，这些方法依赖于模拟和通过近似的SDE解进行反向传播，这限制了其可扩展性。在本工作中，我们提出了一种新的无需模拟的训练潜在SDE的方法——SDE匹配。受现代评分匹配和流匹配算法用于学习生成动力学的启发，我们将这些思想扩展到时间序列和序列建模的随机动力学领域，消除了对昂贵数值模拟的需求。我们的结果表明，SDE匹配在显著降低计算复杂度的同时，实现了与伴随敏感性方法相当的性能。

我们介绍了HyperCLOVA X，这是一系列专为韩国语言和文化量身定制的大型语言模型（LLMs），同时具有英语、数学和编码的竞争能力。HyperCLOVA X在平衡混合的韩语、英语和代码数据上进行了训练，随后使用高质量的人工注释数据进行了指令调整，同时遵守严格的安全准则，以反映我们对负责任人工智能的承诺。该模型在各种基准测试中进行了评估，包括综合推理、知识、常识、事实、编码、数学、聊天、指令跟随和无害性，涵盖了韩语和英语。HyperCLOVA X在韩语方面展现出强大的推理能力，并具有对语言和文化细微差别的深入理解。对其固有的双语性质及其对多语言的扩展的进一步分析突显了该模型的跨语言熟练度和强大的泛化能力，包括多种语言对之间的机器翻译和跨语言推理任务。我们相信，HyperCLOVA X可以为各地区或国家开发其主权LLMs提供有益的指导。

专家混合模型（MoE）的预训练相比密集型 Transformer 的预训练更具可扩展性，因为 MoE 学会将输入路由到其前馈参数的一个稀疏子集。然而，这也意味着 MoE 只能接收到稀疏的反向更新，从而导致训练不稳定和性能次优。我们提出了一种轻量级的近似方法，在继续稀疏激活其参数的同时，为 MoE 路由器提供一个稠密的梯度更新。我们将这种方法称为默认 MoE（Default MoE），它通过使用指数移动平均值来替代缺失的专家激活，该平均值基于训练过程中之前见过的专家输出计算得出。这使得路由器能够从每个 token 的所有专家中接收信号，从而显著提升训练性能。我们的默认 MoE 在多种设置下超越了标准的 TopK 路由方法，并且不需要显著增加计算开销。代码：https://github.com/vatsal0/default-moe。

超越人类认知的局限性是大语言模型训练中的一个关键前沿领域。像DeepResearch这样的专有智能体系统已经在极其复杂的寻址信息类基准测试（如BrowseComp）中展现出了超人的能力，这是此前无法实现的成就。我们认为，它们的成功依赖于一种目前开源模型中尚未具备的复杂推理模式：即在面对海量信息环境时，能够系统性地降低极端不确定性的能力。基于这一洞见，我们提出了WebSailor，这是一种完整的后训练方法论，旨在赋予模型这种关键能力。我们的方法包括通过结构化采样与信息模糊技术生成新颖的高不确定性任务、RFT冷启动策略，以及一种高效的智能体强化学习算法——复制采样策略优化（DUPO）。通过这一整套集成的训练流程，WebSailor在复杂的信息检索任务中显著优于所有现有的开源智能体，其表现已达到专有智能体的水平，大幅缩小了二者之间的能力差距。

大规模语言模型（LLMs）正越来越多地被部署在与外部环境交互的代理系统中。然而，当处理不可信数据时，LLM代理容易受到提示注入攻击的影响。在本文中，我们提出了CaMeL，一种稳健的防御机制，它在LLM周围创建了一个保护系统层，即使底层模型可能存在漏洞，也能确保其安全性。为了运行，CaMeL从（可信的）查询中显式提取控制流和数据流；因此，LLM检索到的不可信数据永远不会影响程序流程。为进一步提升安全性，CaMeL依赖于一种能力的概念，以防止私有数据通过未经授权的数据流泄露。我们在AgentDojo [NeurIPS 2024]中展示了CaMeL的有效性，这是一个最近提出的代理安全基准测试，在其中CaMeL以可证明的安全性解决了67%的任务。

我们提出了SpatialTrackerV2，这是一种用于单目视频的前馈式三维点跟踪方法。与以往基于现成组件构建的模块化三维跟踪流程不同，我们的方法将点跟踪、单目深度估计和相机姿态估计之间的内在联系统一起来，打造出了一个性能优异且具备前馈特性的三维点追踪器。该方法将世界空间中的三维运动分解为场景几何结构、相机自运动以及逐像素的物体运动，并采用了完全可微分且端到端的架构，使得模型能够在多种数据集上进行可扩展的训练，包括合成序列、带姿态标注的RGB-D视频以及未标注的真实场景视频。通过在这些异构数据上联合学习几何信息与运动信息，SpatialTrackerV2的性能超越了现有的三维跟踪方法30%，同时在精度上达到了领先的动态三维重建方法的水平，但运行速度却快了50倍。

自回归模型（ARMs）已经成为序列生成任务的主力工具，因为许多问题可以被建模为下一个标记的预测。虽然文本似乎有自然的顺序（即从左到右），但对于许多数据类型，如图结构数据，其标准顺序则不那么明显。为了解决这个问题，我们引入了一种ARM的变体，该变体使用从数据中顺序推断出的概率顺序来生成高维数据。这个模型包含一个可训练的概率分布，称为“顺序策略”，它以状态依赖的方式动态决定自回归顺序。为了训练模型，我们引入了一个关于精确对数似然的变分下界，并使用随机梯度估计进行优化。实验结果表明，我们的方法可以在图像和图结构数据生成中学习到有意义的自回归顺序。在具有挑战性的分子图生成领域，我们在QM9和ZINC250k基准测试中取得了最先进的结果，评估指标为Fréchet ChemNet距离（FCD）。

扩散模型可以通过额外的引导来改进其对输入的有效表征。事实上，之前的经验研究已经表明，将扩散模型的内部表征与预训练模型的表征进行对齐可以提升生成质量。本文中，我们提出了一个系统性的框架，用于将表征引导融入扩散模型。我们给出了去噪模型的不同分解方式及其相应的训练准则，这些分解方式决定了何时以及如何引入辅助表征。基于我们的理论洞察，我们提出了两种新的策略来增强扩散模型中的表征对齐。第一种方法是将样本与其自身导出的目标表征或来自不同合成模态的表征配对，并在这些多模态配对数据上学习一个联合模型。第二种方法是我们设计了一个最优的训练课程，以平衡表征学习与数据生成之间的关系。我们在图像生成、蛋白质序列生成和分子生成任务上的实验表明，我们的方法不仅性能优越，而且训练速度更快。特别是在类条件ImageNet $256\times 256$基准测试中，我们的方法相比原始SiT-XL实现了23.3倍的训练加速，并比当前最先进的REPA方法快了四倍。代码可在https://github.com/ChenyuWang-Monica/REED 获取。

机器人在杂乱环境中的抓取仍然是一个重大挑战，因为存在遮挡和复杂的物体排列。我们开发了ThinkGrasp，这是一个即插即用的视觉语言抓取系统，利用GPT-40的高级语境推理来实现重度杂乱环境下的抓取策略。ThinkGrasp可以有效地识别和生成目标物体的抓取姿势，即使它们被严重遮挡或几乎看不见，也可以使用目标导向语言来引导清除遮挡物。这种方法逐步发现目标物体，并最终在几个步骤和高成功率下抓住它。在模拟和实际实验中，ThinkGrasp实现了高成功率，并在重度杂乱环境或不同的未知物体中明显优于最先进的方法，展示了强大的泛化能力。

扩大语言模型的规模可以释放出令人印象深刻的能力，但随之而来的计算和内存需求也使得训练和部署成本高昂。现有的效率优化方法通常要么专注于参数共享，要么采用自适应计算策略，但如何同时实现这两方面的优势仍然是一个开放问题。我们提出了“递归混合”（Mixture-of-Recursions，MoR）这一统一框架，将两种效率维度融合在一个统一的递归 Transformer 架构中。MoR 在递归步骤中复用一组共享的层级，从而实现参数效率；同时，通过轻量级路由机制，在每个 token 层面实现自适应的“思考”深度，动态地为不同的 token 分配不同的递归深度。这使得 MoR 仅在特定递归深度下仍处于活跃状态的 token 之间集中进行二次复杂度的注意力计算，并通过有选择地缓存这些 token 的键值对，进一步提升内存访问效率。除了这些核心机制之外，我们还提出了一种 KV 共享变体，复用了首次递归中的键值对，专门用于降低预填充阶段的延迟和内存占用。在从 1.35 亿到 17 亿参数的不同模型规模上，MoR 形成了一条新的帕累托前沿：在训练计算量相同甚至模型更小的情况下，MoR 显著降低了验证集困惑度，提升了少样本准确率，并且相比基础版本及其他现有的递归基线模型具有更高的吞吐性能。这些优势表明，MoR 是一条在不带来大模型成本的前提下实现大模型质量的有效路径。