Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning

高效获取外部知识和最新信息对于大型语言模型（LLMs）在推理和文本生成中的有效性至关重要。通过提示具备推理能力的高级LLMs在推理过程中使用搜索引擎通常效果不佳，因为这些LLMs可能并不完全具备如何与搜索引擎最优交互的能力。本文介绍了Search-R1，这是一种强化学习（RL）在推理框架中的扩展方法，其中LLM能够自主地在逐步推理过程中生成（多个）搜索查询，并结合实时检索结果进行优化。Search-R1通过多轮搜索交互优化LLM的推理轨迹，利用检索到的标记掩码确保强化学习训练的稳定性，并采用基于简单结果的奖励函数。在七个问答数据集上的实验表明，与相同设置下的各种RAG基线相比，Search-R1分别提升了41%（Qwen2.5-7B）和20%（Qwen2.5-3B）的性能。本文还进一步提供了关于强化学习优化方法、LLM选择以及检索增强推理中响应长度动态变化的经验性见解。代码和模型检查点可在以下链接获取：https://github.com/PeterGriffinJin/Search-R1。

该论文试图解决大型语言模型（LLM）在推理和文本生成中缺乏高效获取外部知识和实时信息的问题。传统方法通过提示LLM使用搜索引擎，但效果往往不理想，因为LLM可能无法最优地与搜索引擎交互。这是一个重要的问题，但在引入强化学习优化搜索交互方面具有一定的创新性。

论文提出了一种名为Search-R1的方法，将强化学习扩展到推理框架中，使LLM能够自主生成多个搜索查询，并结合实时检索结果进行多轮交互推理。通过引入检索标记掩码技术确保强化学习训练的稳定性，并采用基于结果的简单奖励函数优化推理轨迹。相比传统的检索增强生成（RAG）方法，这种方法更加动态且适应性强。

实验在七个问答数据集上验证了Search-R1的有效性，结果显示Qwen2.5-7B性能提升41%，Qwen2.5-3B性能提升20%。此外，论文还提供了关于RL优化方法、LLM选择及响应长度动态变化的深入分析。代码和模型检查点已开源至GitHub（https://github.com/PeterGriffinJin/Search-R1），为未来研究提供了良好的基础。值得进一步探索的方向包括更复杂的奖励机制设计以及跨领域知识检索的应用。

近期相关研究包括：1)《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》，提出了RAG框架；2)《Reinforcement Learning for Dialogue Systems》，探讨了强化学习在对话系统中的应用；3)《Knowledge-Aware Language Models with External Memory》，研究了带外部记忆的知识感知语言模型。这些工作共同推动了检索增强和强化学习在自然语言处理中的发展。