Auto-RAG: Autonomous Retrieval-Augmented Generation for Large Language Models

迭代检索指的是在生成过程中模型不断向检索器查询以增强检索知识的相关性，从而提高检索增强生成（RAG）的性能。现有的工作通常采用少量示例提示或手动构建的规则来实现迭代检索。这不仅增加了推理开销，还忽视了大型语言模型（LLM）卓越的推理能力。本文中，我们引入了Auto-RAG，这是一种以LLM强大决策能力为中心的自主迭代检索模型。Auto-RAG与检索器进行多轮对话，系统地规划检索并优化查询，以获取有价值的知识。这一过程持续进行，直到收集到足够的外部信息，然后将结果呈现给用户。为此，我们开发了一种方法，用于自主合成基于推理的决策指令，并对最新的开源LLM进行了微调。实验结果表明，Auto-RAG能够自主与检索器进行迭代交互，有效利用LLM卓越的推理和决策能力，在六个基准测试中表现出色。进一步分析显示，Auto-RAG能够根据问题的难度和检索知识的有用性自主调整迭代次数，无需任何人工干预。此外，Auto-RAG用自然语言表达迭代检索过程，增强了可解释性，为用户提供更直观的体验。代码可在以下地址获取：[https://github.com/ictnlp/Auto-RAG](https://github.com/ictnlp/Auto-RAG)。

论文尝试解决在检索增强生成（RAG）任务中，如何利用大型语言模型（LLM）的推理能力实现自主迭代检索的问题。现有的方法通常依赖于少样本提示或手动构建的规则，这不仅增加了推理开销，还未能充分利用LLM的强大决策能力。

论文提出了一种名为Auto-RAG的自主迭代检索模型，该模型基于LLM的推理和决策能力，通过多轮对话与检索器互动，系统地规划检索并优化查询，直到获取足够的外部信息。这一方法不仅减少了人工干预，还提高了检索的准确性和效率。

1. Auto-RAG能够自主调整迭代次数，根据问题难度和检索知识的有用性进行动态优化。 2. 实验结果显示，Auto-RAG在六个基准测试中表现出色，显著优于现有方法。 3. 论文提供了开源代码，便于其他研究者复现和进一步探索。 4. Auto-RAG以自然语言表达迭代检索过程，增强了系统的可解释性和用户体验。

1. "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks" - 这篇论文提出了RAG框架，结合了检索和生成模型，为Auto-RAG奠定了基础。 2. "Iterative Prompting for Few-Shot Learning" - 探讨了少样本学习中的迭代提示技术，为Auto-RAG的迭代机制提供了灵感。 3. "Large Language Models are Zero-Shot Reasoners" - 研究了LLM在零样本任务中的推理能力，支持了Auto-RAG利用LLM进行自主决策的设计理念。