Retrieval-Augmented Generation for Large Language Models: A Survey

大型语言模型（LLMs）展示了显著的能力，但面临幻觉、过时知识和非透明、不可追踪的推理过程等挑战。增强生成（RAG）已成为解决这些问题的有前途的解决方案，它将外部数据库的实时数据纳入LLM的响应中。这增强了模型的准确性和可信度，特别是对于知识密集型任务，允许持续的知识更新和领域特定信息的整合。RAG将LLMs固有的知识与外部数据库的庞大、动态的存储库相融合。本调查论文深入分析了RAG的演变，重点关注了三个关键范式：Naive RAG、Advanced RAG和Modular RAG。它系统地检查了RAG系统的三个基本组成部分：检索器、生成器和增强方法，并强调了每个组件内的尖端技术。此外，本论文介绍了用于评估RAG模型的新指标和能力，以及最新的评估框架。最后，本论文从三个角度概述了未来的研究方向：未来的挑战、模态扩展以及RAG技术堆栈和生态系统的发展。

本论文旨在解决大语言模型（LLMs）面临的幻觉、过时知识和非透明、不可追踪的推理过程等挑战，提出了增强生成（RAG）的解决方案。

RAG通过将外部数据库的实时数据整合到LLMs的响应中，提高了模型的准确性和可信度，特别是对于知识密集型任务，允许持续的知识更新和领域特定信息的集成。RAG将LLMs固有的知识与外部数据库的庞大、动态的存储库相融合，从而解决了LLMs面临的挑战。

论文详细分析了RAG的演变，重点关注了三个关键范式：Naive RAG、Advanced RAG和Modular RAG。论文系统地研究了RAG系统的三个基本组件：检索器、生成器和增强方法，强调了每个组件内的尖端技术。此外，论文还介绍了评估RAG模型的新指标和能力，以及最新的评估框架。最后，论文从三个角度概述了未来的研究方向：未来的挑战、模态扩展以及RAG技术栈和生态系统的发展。

在这个领域中，最近还进行了哪些相关的研究？一些相关研究的论文包括：《Improving Language Understanding with Unsupervised Learning》、《DALL-E: Creating Images from Text》、《GPT-3: Language Models are Few-Shot Learners》等。