R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning

现有的大型推理模型（LRMs）展示了强化学习（RL）增强大型语言模型（LLMs）复杂推理能力的潜力。尽管它们在数学和编程等具有挑战性的任务上取得了显著的性能，但这些模型通常依赖其内部知识来解决问题，这在处理时效性或知识密集型问题时可能不足，从而导致不准确和幻觉现象。为了解决这一问题，我们提出了**R1-Searcher**，这是一种新颖的基于结果的两阶段强化学习方法，旨在增强LLMs的搜索能力。该方法使LLMs能够在推理过程中自主调用外部搜索系统以获取额外的知识。我们的框架完全依赖于强化学习，无需过程奖励或蒸馏来进行冷启动。我们的实验表明，该方法显著优于之前的强大RAG方法，即使与闭源的GPT-4o-mini相比也表现出色。

该论文旨在解决大型语言模型（LLMs）在处理时间敏感或知识密集型问题时，依赖内部知识导致的不准确性和幻觉问题。这是一个现有LLMs中普遍存在的挑战，但通过引入外部搜索系统来增强其推理能力，提出了一个新的解决方案。

论文提出了一种名为R1-Searcher的两阶段基于结果的强化学习（RL）方法，使LLMs能够在推理过程中自主调用外部搜索系统以获取额外知识。这种方法完全依赖于RL，无需过程奖励或蒸馏来进行冷启动，这与现有方法有所不同，展示了在无需额外监督的情况下提升LLMs性能的新思路。

实验表明，R1-Searcher显著优于先前强大的RAG方法，即使与封闭源代码的GPT-4o-mini相比也表现出色。研究不仅支持基础和指令模型，还能有效推广到领域外的数据集。此外，该框架不需要额外的监督信号进行冷启动，为未来的研究提供了新的方向。论文未提及是否开源代码，但其创新的方法论值得进一步探索。

最近在这个领域的相关研究包括： 1. "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks" - 探索了结合检索与生成模型的方法。 2. "Leveraging External Knowledge in Dialogue Systems via Pretrained Language Models" - 研究了如何在对话系统中利用预训练语言模型结合外部知识。 3. "Knowledge-Enhanced Pre-training for Commonsense Reasoning" - 针对常识推理任务增强了预训练模型的知识。