RAG-R1 : Incentivize the Search and Reasoning Capabilities of LLMs through Multi-query Parallelism

大语言模型（LLMs）在各种任务中展现出卓越的能力，但由于其内部知识的静态性，它们仍然容易生成虚构或过时的回答。近期，检索增强生成（RAG）方法的研究探索了通过强化学习（RL）提升模型搜索和推理能力的方法。尽管这些方法显示出令人鼓舞的结果，但在训练稳定性方面仍面临挑战，并且由于单查询模式的存在，还存在推理时间较长和能力受限等问题。本文提出了一种新的训练框架RAG-R1，旨在使LLMs在推理过程中能够自适应地利用内部和外部知识。我们进一步将该框架中的生成与检索过程从单查询模式扩展为多查询并行模式，以期减少推理时间并增强模型的整体能力。在七个问答基准测试上的大量实验表明，我们的方法相比最强的基线模型性能提升了最高达13.2%，同时推理时间减少了11.1%。

论文旨在解决大型语言模型（LLMs）在生成回答时容易产生幻觉或提供过时信息的问题。现有基于检索增强生成（RAG）的方法通过强化学习（RL）提升模型的搜索和推理能力，但仍面临训练不稳定、推理时间长以及受限于单查询模式等问题。这是一个持续受到关注的新问题，特别是在如何高效结合外部知识与LLM内部知识方面。

论文提出了一种新的训练框架RAG-R1，使LLM能够在推理过程中自适应地利用内部知识和外部知识。其核心创新在于将原有的单查询检索-生成模式扩展为多查询并行模式，从而降低推理时间并增强模型性能。相比现有方法，该思路更注重训练稳定性与推理效率的平衡，并通过并行化设计提升整体能力。

1. 在七个问答基准数据集上进行了广泛实验，验证了RAG-R1的有效性和效率优势 2. 与最强基线模型相比，性能提升了最多13.2%，同时推理时间减少了11.1% 3. 支持多查询并行处理，突破了传统RAG系统的瓶颈 4. 未来可进一步探索该框架在更多任务和更大规模模型中的应用

1. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 2. Training Verifiers to Solve Math Word Problems 3. Language Models as Knowledge Bases: On the Use of External Knowledge in Language Models 4. Improving Factuality and Reasoning in Language Models through Multi-Agent Debate 5. REALM: Retrieval-Augmented Language Model Pre-Training 6. Knowledge-Guided Open Domain Question Answering with Reinforcement Learning