高效获取外部知识和最新信息，对于大型语言模型（LLMs）在推理和文本生成中的有效性至关重要。在推理过程中，通过提示具备推理能力的高级LLMs使用搜索引擎并非最佳方案，因为LLM并未学习如何与搜索引擎进行最优交互。本文介绍了Search-R1，这是DeepSeek-R1模型的一个扩展版本，在该版本中，LLM仅通过强化学习（RL）自主地在分步推理过程中生成（多个）搜索查询，并实时检索信息。Search-R1通过对多轮搜索交互的LLM行为轨迹进行优化，利用检索到的标记掩码以确保强化学习训练的稳定性，并采用基于结果的简单奖励函数。在七个问答数据集上的实验表明，Search-R1相较于强大的基线模型分别提升了26%（Qwen2.5-7B）、21%（Qwen2.5-3B）和10%（LLaMA3.2-3B）的性能。本文进一步提供了关于强化学习优化方法、LLM选择以及检索增强推理中响应长度动态变化的实证见解。代码和模型检查点可在https://github.com/PeterGriffinJin/Search-R1 获取。

我们提出了 Free4D，这是一种从单张图像生成 4D 场景的新型无调参框架。现有的方法要么专注于对象级别的生成，使得场景级别的生成不可行，要么依赖大规模多视角视频数据集进行昂贵的训练，但由于 4D 场景数据的稀缺性，其泛化能力有限。相比之下，我们的核心洞见在于提取预训练基础模型以实现一致的 4D 场景表示，这种方法提供了高效性和可泛化性的显著优势。1) 为实现这一目标，我们首先使用图像到视频扩散模型对输入图像进行动画化处理，随后进行 4D 几何结构初始化。2) 为了将这种粗略的结构转化为时空一致的多视角视频，我们设计了一种自适应引导机制，通过点引导去噪策略确保空间一致性，并提出一种新颖的潜在替换策略以实现时间连贯性。3) 为了将这些生成的观测结果提升为一致的 4D 表示，我们提出了一种基于调制的优化方法，以减少不一致性，同时充分利用生成的信息。最终得到的 4D 表示能够支持实时、可控的渲染，标志着基于单张图像的 4D 场景生成领域的重要进展。

知识驱动的新型材料发现需要发展关于性质涌现的因果模型。在经典物理范式中，因果关系通常是基于物理原理推导或通过实验获得，而观测数据的快速积累促使我们根据观测结果学习材料结构不同方面与功能之间的因果关系。为此，将实验数据与领域先验知识相结合是至关重要的。本文通过结合高分辨率扫描透射电子显微镜（STEM）数据和从大型语言模型（LLMs）中提取的洞见展示了这一方法。通过对领域特定文献（如arXiv上关于铁电材料的论文）对ChatGPT进行微调，并将所获得的信息与数据驱动的因果发现相结合，我们构建了有向无环图（DAGs）的邻接矩阵，这些矩阵映射了Sm掺杂BiFeO3（SmBFO）中结构、化学和极化自由度之间的因果关系。这种方法使我们能够推测合成条件如何影响材料性质，特别是矫顽场（E0），并指导实验验证。本研究的最终目标是开发一个统一框架，将大型语言模型驱动的文献分析与数据驱动的发现相结合，通过明确合成条件与其材料性质之间的联系，促进铁电材料的精确工程设计。

我们提出了 Pow3r，这是一种新颖的大规模 3D 视觉回归模型，具有高度灵活的输入模态兼容性。与之前在测试时无法利用已知相机或场景先验信息的前馈模型不同，Pow3r 在单一网络中结合了任何组合的辅助信息，例如内参、相对姿态、稠密或稀疏深度，以及输入图像。基于最近的 DUSt3R 范式（一种利用强大预训练的基于 Transformer 的架构），我们的轻量级且灵活的条件机制为网络提供了额外的引导，在有辅助信息的情况下预测更准确的结果。在训练过程中，我们在每次迭代中随机向模型输入模态的子集，从而使模型在测试时能够适应不同水平的已知先验信息。这反过来开启了新的能力，例如以原生图像分辨率进行推理，或完成点云补全任务。我们在 3D 重建、深度补全、多视图深度预测、多视图立体视觉和多视图姿态估计任务上的实验取得了最先进的结果，并验证了 Pow3r 在充分利用所有可用信息方面的有效性。项目网页为 https://europe.naverlabs.com/pow3r。

本文全面而及时地概述了（深度）强化学习和序列决策领域的整体情况，涵盖了基于价值的强化学习、策略梯度方法、基于模型的方法以及各种其他主题（包括对强化学习与大语言模型结合的简要讨论）。

软件内存安全最重要的安全好处可以简单地表述为：对于C和C++软件，攻击者可以利用大多数漏洞和安全问题来获得对软件行为的完全、无限制控制，而这对内存安全软件中的大多数漏洞来说并不成立。 幸运的是，这种安全优势——即大多数漏洞不会让攻击者获得完全控制——可以在未修改的C/C++软件中实现，并且无需针对每个应用程序进行额外努力。 这并不需要尝试去实现内存安全；相反，消除大部分因内存损坏而导致的程序执行组合方式就足够了。为了消除这些交错执行路径，已经存在一些实用的编译器和运行时机制，它们几乎不增加开销，也不需要特殊的硬件或平台支持。 这里描述的每种机制已经在至少一个平台上得到了大规模的实际应用。通过在开发工具链中支持这些机制的联合使用，可以快速且显著地提升所有C和C++软件对抗远程代码执行攻击的安全性。

过程监督奖励模型（PRM）作为一种精细粒度的函数，为模型响应提供了详细的逐步骤反馈，有助于为复杂任务有效选择推理轨迹。尽管其具有诸多优势，但对 PRM 的评估仍较少被研究，特别是在多模态领域。为填补这一空白，本文首先在多个视觉-语言基准上评估了当前的视觉大语言模型（VLLM），将其作为两种类型的奖励模型：输出奖励模型（ORM）和过程奖励模型（PRM）进行基准测试。结果表明，无论是 ORM 还是 PRM，在所有任务中都没有表现出一致的优势，并且性能优越的 VLLM 并不一定能带来更好的奖励性能。为进一步推动评估，我们引入了 ViLBench，这是一个专门设计需要密集过程奖励信号的视觉-语言基准。值得注意的是，OpenAI 的 GPT-4o 在结合链式思维（CoT）的情况下仅达到 27.3% 的准确率，这表明该基准对当前的 VLLM 构成了相当大的挑战。最后，我们初步展示了一条弥合通用 VLLM 和奖励模型之间差距的有前景路径——通过使用增强的树搜索算法收集了 73.6 万条视觉-语言过程奖励数据，我们的 30 亿参数模型能够在 ViLBench 上通过选择 OpenAI o1 的生成结果，平均比标准 CoT 提高 3.3%，相较于未训练的版本最多提升 2.5%。我们已将代码、模型和数据的实现发布在 https://ucsc-vlaa.github.io/ViLBench。

尽管神经网络（NNs）取得了成功并被广泛采用，它们在处理分布外（OOD，Out-of-Distribution）数据时仍然面临挑战，即对训练数据集中未充分表示的输入进行泛化的能力较弱。当模型部署到与训练集显著不同的环境中时，解决OOD泛化差距变得至关重要，例如将训练于小图的图神经网络（GNNs）应用于大型现实世界图。一种实现稳健OOD泛化的有前景的方法是神经算法对齐框架，该框架通过设计类似于特定算法范式（例如动态规划）的神经网络架构，融入了经典算法的思想。期望这种形式的训练模型能够具备更强的OOD能力，就像经典算法可以适用于所有实例一样。我们严格分析了算法对齐在实现OOD泛化中的作用，重点关注应用于经典最短路径问题的图神经网络（GNNs）。我们证明了，通过在少量最短路径实例上最小化稀疏正则化损失训练的GNNs，能够精确实现用于最短路径的贝尔曼-福特（Bellman-Ford, BF）算法。事实上，如果一个GNN将该损失最小化至误差为$\epsilon$，那么它将以$O(\epsilon)$的误差实现BF算法。因此，即使训练数据有限，这些GNNs也能保证外推到任意最短路径问题，包括任意规模的实例。我们的实证结果支持了这一理论，表明通过梯度下降训练的神经网络能够在实践中最小化该损失并实现外推。

利用主动探索的语言模型对齐（或强化学习）技术——刻意鼓励模型生成多样且富有信息量的响应——展现出超越人类能力的潜力。然而，目前对于如何通过语言模型实现计算高效的探索，其算法设计的基本原理仍了解有限。为了更好地理解如何利用强大的预训练生成模型来提高探索效率，我们提出了一种新的基于语言模型的强化学习计算框架，在该框架中，学习者通过采样预言机与模型进行交互。 针对线性 Softmax 模型参数化，我们提供了以下新结果，揭示了高效探索中的计算与统计权衡： 1. **覆盖的重要性**：覆盖指预训练模型在多大程度上包含接近最优响应的能力——一种隐藏的知识形式。我们证明，尽管覆盖不是数据效率的必要条件，但它为框架内任何算法的运行时间设定了下限。 2. **推理时探索**：我们提出了一种新算法 SpannerSampling，该算法在预训练模型具有足够覆盖的情况下，能够达到最优的数据效率，并且计算高效，匹配我们的理论下界。SpannerSampling 利用预训练模型在推理阶段的计算能力，缩小了探索的有效搜索空间。 3. **训练时干预的不足**：我们通过对比表明，仅依赖训练阶段的干预生成合适的策略，无法在多项式时间内达到类似保证。 4. **多轮探索的计算优势**：最后，我们在额外的表示假设下证明，通过多轮探索可以改进运行时间（将序列级别的覆盖要求降低为标记级别的覆盖）。