Towards Agentic RAG with Deep Reasoning: A Survey of RAG-Reasoning Systems in LLMs

检索增强生成（RAG）通过注入外部知识提升了大语言模型（LLMs）的事实准确性，但在需要多步骤推理的问题上仍显不足；相反，纯粹面向推理的方法往往会出现事实幻觉或事实依据错误。本文综述从统一的“推理—检索”视角出发，融合了这两个方向的研究。我们首先梳理了高级推理如何优化RAG的各个阶段（即推理增强的RAG）。接着展示了不同类型的检索知识如何补充缺失的前提并扩展复杂推理所需的上下文（即RAG增强的推理）。最后，我们聚焦于新兴的协同式RAG-推理框架，在这些框架中，（具备代理能力的）大语言模型迭代地交替进行搜索与推理，在多个知识密集型基准测试中达到了最先进的性能。本文对相关方法、数据集和开放性挑战进行了分类总结，并展望了未来研究的方向，旨在构建更高效、多模态自适应、可信且以人为本的深度RAG-推理系统。相关的资源汇总请见：https://github.com/DavidZWZ/Awesome-RAG-Reasoning。

论文旨在解决知识密集型任务中，检索增强生成（RAG）在多步推理上的不足，以及纯推理方法容易产生幻觉或事实错误的问题。这是一个新问题，因为现有的研究大多分别关注检索或推理，而缺乏一个统一的框架来整合两者。

论文的核心思想是提出一个统一的“推理-检索”视角，将RAG与推理方法结合起来。具体包括：1）用高级推理优化RAG的各个阶段（Reasoning-Enhanced RAG）；2）通过不同类型的检索知识补充前提并扩展复杂推理的上下文（RAG-Enhanced Reasoning）；3）构建能够迭代交叉搜索与推理的协同框架（Synergized RAG-Reasoning）。这种系统性整合是当前研究中的新方向。

1. 提出了一个系统的分类体系，涵盖方法、数据集和开放挑战。 2. 总结了新兴的协同框架，如基于代理（agentic）LLM的方法，在多个基准测试中达到SOTA。 3. 指出了未来的研究方向，包括更有效的系统、多模态适应性、可信性和以人为本的设计。 4. 提供了开源资源链接，便于后续研究和实验复现。

1. RAG-based approaches for knowledge-intensive tasks (e.g., KILT benchmark) 2. Chain-of-thought prompting and other reasoning-enhancement techniques 3. Hybrid retrieval and generation models with iterative refinement 4. Agent-based LLM frameworks for complex task-solving 5. Multimodal extensions of RAG and reasoning systems