Retrieval-Augmented Generation for Large Language Models: A Survey

大型语言模型（LLMs）展示了强大的能力，但它们在实际应用中仍面临挑战，如幻觉、知识更新缓慢以及答案缺乏透明度。检索增强生成（RAG）是指在回答LLMs的问题之前，从外部知识库中检索相关信息。RAG已被证明可以显著提高答案准确性，减少模型幻觉，特别是对于知识密集型任务。通过引用来源，用户可以验证答案的准确性并增加对模型输出的信任。它还促进了知识更新和引入特定领域的知识。RAG有效地将LLMs的参数化知识与非参数化的外部知识库相结合，使其成为实现大型语言模型的最重要方法之一。本文概述了在LLMs时代中RAG的发展范式，总结了三种范式：Naive RAG、Advanced RAG和Modular RAG。然后提供了RAG的三个主要组成部分的摘要和组织：检索器、生成器和增强方法，以及每个组成部分的关键技术。此外，它还讨论了如何评估RAG模型的有效性，介绍了两种RAG评估方法，强调评估的关键指标和能力，并提出了最新的自动评估框架。最后，从垂直优化、水平可扩展性和RAG的技术堆栈和生态系统三个方面介绍了潜在的未来研究方向。

论文旨在解决大语言模型在实际应用中遇到的问题，如幻觉、知识更新缓慢和答案缺乏透明度等。通过检索外部知识库来回答问题，Retrieval-Augmented Generation (RAG) 可以显著提高答案准确性，减少模型幻觉，特别是对于知识密集型任务。本文旨在探讨 RAG 的发展范式和关键组件，并提出了两种评估方法。

RAG 通过从外部知识库中检索相关信息，结合大语言模型的参数化知识，提高了答案的准确性和可靠性，同时也便于知识更新和引入领域特定知识。

本文总结了 RAG 的三种发展范式，即 Naive RAG、Advanced RAG 和 Modular RAG，并介绍了 RAG 的三个主要组件：检索器、生成器和增强方法，以及每个组件中的关键技术。论文还介绍了两种评估 RAG 模型的方法，并提供了最新的自动评估框架。最后，论文探讨了未来研究方向，包括垂直优化、水平扩展性和 RAG 的技术栈和生态系统。

近年来，还有许多相关研究在这个领域进行。例如，《Dense Passage Retrieval for Open-Domain Question Answering》、《ERNIE-GEN: An Enhanced Multi-Flow Pre-training and Fine-tuning Framework for Natural Language Generation》等。