大规模推荐系统的特点是依赖于高基数、异构特征，并需要每天处理数十亿个用户操作。尽管在数千个特征上使用了大量的数据进行训练，但工业界中大多数深度学习推荐模型（DLRMs）在计算方面都无法扩展。 受到语言和视觉领域中Transformer的成功启发，我们重新审视了推荐系统的基本设计选择。我们在生成建模框架中将推荐问题重新定义为序列传导任务（“生成式推荐”），并提出了一种新的架构HSTU，专为高基数、非平稳流式推荐数据设计。 HSTU在合成和公共数据集上的NDCG性能比基准提高了高达65.8％，而在8192长度序列上比基于FlashAttention2的Transformer快5.3倍至15.2倍。基于HSTU的生成式推荐器，具有1.5万亿个参数，在在线A / B测试中提高了12.4％的指标，并已部署在拥有数十亿用户的大型互联网平台的多个表面上。更重要的是，生成式推荐器的模型质量在三个数量级的训练计算中经验性地呈现出幂律规模，达到了GPT-3/LLaMa-2规模，这减少了未来模型开发所需的碳足迹，进一步为推荐领域的第一批基础模型铺平了道路。

大型语言模型（LLMs）是对话接口。因此，LLMs 不仅可以在用户完全明确任务时提供帮助，还可以通过多轮对话交互来协助用户定义、探索和细化他们的需求。尽管对 LLM 对话日志的分析表明，用户指令中频繁出现未充分指定的情况，但 LLM 的评估主要仍集中在单轮、完全指定指令的场景中。在这项工作中，我们进行了大规模模拟实验，以比较 LLM 在单轮和多轮设置下的表现。我们的实验结果证实，我们测试的所有顶级开源和闭源权重的 LLM 在多轮对话中的表现显著低于单轮对话，平均在六种生成任务中性能下降了 39%。对超过 20 万次模拟对话的分析将性能退化分解为两个部分：能力上的轻微损失和可靠性上的显著降低。我们发现，LLMs 往往在对话的早期阶段做出假设，并过早尝试生成最终解决方案，而对其过度依赖。更简单地说，我们发现 *当 LLMs 在对话中走错了方向，它们会迷失且无法自行恢复*。

尽管文本转音频系统的表现日益提升，但在推理阶段速度较慢，这使得其延迟对于许多创意应用来说不够实用。我们提出了对抗性相对对比（ARC）后训练方法，这是首个不基于知识蒸馏的扩散/流模型加速算法。以往的对抗性后训练方法在与昂贵的知识蒸馏方法竞争时表现不佳，而ARC后训练是一种简单的流程，它（1）将最近的相对对抗性公式扩展到扩散/流模型的后训练中，并（2）结合一种新颖的对比判别器目标函数，以促进更好的提示遵循能力。我们将ARC后训练与多项优化技术结合，应用于Stable Audio Open，构建了一个能够在H100上以约75毫秒生成约12秒的44.1kHz立体声音频，并在移动边缘设备上生成约7秒音频的模型。据我们所知，这是目前最快的文本转音频模型。

Moosbauer 和 Poole 最近证明了在（可能是非交换的）系数环中，两个 $5 \times 5$ 矩阵的乘法最多需要 93 次乘法，而两个 $6 \times 6$ 矩阵的乘法最多需要 153 次乘法。以这些乘法方案为起点，我们通过翻转图搜索的方法，发现了针对多种矩形矩阵格式的更优矩阵乘法方案。

推理模型如何验证自己的答案？我们通过在 CountDown 任务上使用 DeepSeek R1 的方法训练一个模型来研究这一问题。我们利用偏好调优会导致模式崩溃的事实，从而得到一个总是生成高度结构化且易于解析的链式思维序列的模型。借助这种设置，我们从自顶向下和自底向上的角度分析模型如何反向工程其输出验证过程。我们的自顶向下分析揭示了门控线性单元（GLU）权重编码与验证相关的标记，例如“成功”或“错误”，这些标记会根据模型推理步骤的正确性激活。我们的自底向上分析则表明，“前序标记头”主要负责模型的验证功能。两种分析最终交汇于一点：受层间通信通道的启发，我们利用识别出的 GLU 向量定位到最少三个注意力头，禁用它们即可关闭模型的验证功能，这指向了一个更大验证电路中的必要组件。

本文深入探讨了元提示（Meta Prompting）技术，这是一种革新大型语言模型（LLM）、多模态基础模型和人工智能系统解决问题和数据解释的方法。元提示基于类型理论和范畴论，注重信息的结构和语法，提供了一个超越传统内容为中心方法的独特框架。我们深入探讨了元提示的正式定义，将其与少样本提示进行对比，并强调了其在各种人工智能应用中的适用性和优越性。 本文探索的关键是将元提示扩展到复杂推理领域。在这里，我们展示了这种技术如何将复杂问题分解成可管理的子问题，促进了一种逐步详细的解决问题的方法。这种方法在令牌效率和在解决问题场景中提供公平比较方面尤其有利，与少样本示例方法相比更加出色。 此外，本文通过将元提示扩展到多模态基础模型设置中，开创了新的领域。这种扩展解决了在元提示的结构化框架内集成多种数据类型（如图像、音频和视频）的问题，凸显了这种方法在处理复杂多面向数据方面所面临的挑战和巨大潜力。（代码可在https://github.com/meta-prompting/meta-prompting上找到。）

大型语言模型（LLMs）在编程和数学推理任务中展现出强大的能力，但受限于高质量训练数据的不足。合成数据可以用来提升微调效果，但这一过程受到多个因素的影响，包括模型规模、合成数据量、剪枝策略以及微调轮次的数量。我们在这几个维度上进行探索，并研究哪些条件能够促使模型实现自我改进。我们提出了“思考、剪枝、训练”（Think, Prune, Train）流程，这是一种可扩展的框架，通过迭代地使用模型自身的推理轨迹进行微调，并借助基于真实标签的剪枝来保证训练数据的质量。这种方法显著提升了性能：在GSM8K数据集上，Gemma2-2B的Pass@1指标从41.9%提高到57.6%，Gemma2-9B达到82%，与LLaMA-3.1-70B持平，而LLaMA-3.1-70B更是达到了91%，甚至超过了GPT-4o。这表明，通过自动生成推理数据和系统化的数据选择，可以有效提升LLM的能力。

使用图像生成扩散模型进行深度数据增强和图像变形的研究兴趣日益增加。在这种背景下，通过对一组输入图像反转产生的潜在变量（latents）进行插值，可以生成代表输入混合的新图像，这非常有用。我们观察到，当输入图像数量较大时，这种插值容易导致退化结果。我们从理论和实验两方面分析了这种效应的原因，并提出了一种适当的解决方案。所建议的方法是一种相对简单的归一化方案，可以在需要对潜在变量进行插值时轻松应用。我们通过FID和CLIP嵌入距离来衡量图像质量，并通过实验证明，基线插值方法在退化问题明显显现之前，质量指标就已经下降。相比之下，我们的方法显著减少了退化效应，并且即使在非退化情况下也能提升质量指标。

小分子生成设计中的可合成性仍然是一个瓶颈。现有的考虑可合成性的研究可以为生成的分子输出预测的合成路线。然而，对于简化合成过程以及灵活纳入所需反应约束的研究却鲜有关注。在本工作中，我们提出了一种小分子生成设计框架，该框架能够实现对可合成性的可控和精细调节。生成的分子可以满足任意多参数优化目标，其预测的合成路线包含预定义的允许反应，同时可以选择性避免其他反应。此外，还可以强制要求所有反应属于预定义的反应集合。我们展示了如何在最常见的药物化学转化中混合和匹配这些反应约束的能力。接下来，我们展示了如何利用我们的框架将工业副产品转化为从头优化的分子。进一步地，我们演示了如何通过精细控制可合成性约束来松散模拟超大型按需制造库的虚拟筛选。仅使用单个GPU，我们生成并对接了15,000个分子，以识别出构成142亿按需制造分子库（仅评估了该库的0.00001%）中具有潜力的候选分子。满足反应约束的生成分子具有超过90%的精确匹配率。最后，我们将我们的框架与最近的受可合成性约束的生成模型进行了基准测试，并证明即使在额外施加所有分子必须通过单一反应类型合成的约束下，我们的框架仍具有最高的采样效率。本文的核心主题是展示如何通过强化学习激励一个预训练的通用分子生成模型，在具有挑战性的可合成性约束下生成经过性质优化的小分子。

大型语言模型是一种多功能的通用工具，具有广泛的应用场景。近期，“推理模型”的出现显著提升了这些模型在高级问题解决领域（如数学和软件工程）中的能力。在本研究中，我们评估了推理模型在没有任何外部工具辅助的情况下直接执行化学任务的能力。为此，我们创建了一个名为 ChemIQ 的新基准测试，其中包含 796 道题目，用于评估有机化学的核心概念，重点在于分子理解和化学推理。与以往主要采用选择题形式的基准测试不同，我们的方法要求模型生成简答题形式的回答，这种方式更贴近实际应用场景。以 OpenAI 的 o3-mini 为例的推理模型根据所使用的推理级别不同，正确回答了 28%-59% 的问题，且更高的推理级别显著提高了所有任务的表现。这些模型大幅超越了非推理模型 GPT-4o，后者仅达到了 7% 的准确率。我们发现，当前的大型语言模型已能够将 SMILES 字符串转换为 IUPAC 名称，而这是早期模型无法完成的任务。此外，我们还证明了最新的推理模型可以从 1H 和 13C 核磁共振（NMR）数据推导出分子结构，并为包含多达 10 个重原子的分子生成正确的 SMILES 字符串，准确率达到 74%，并且在某些情况下成功解析了包含 21 个重原子的复杂结构。对于每一项任务，我们都发现了证据表明模型的推理过程与人类化学家相似。我们的研究结果表明，最新的推理模型已经具备进行高级化学推理的能力。