A Survey on Retrieval-Augmented Text Generation for Large Language Models

检索增强生成（RAG）将检索方法与深度学习技术相结合，以解决大型语言模型（LLMs）的静态限制，实现最新外部信息的动态集成。该方法主要关注文本领域，提供了一种经济有效的解决方案，以避免LLMs生成合理但不正确的响应，从而通过使用真实世界数据提高其输出的准确性和可靠性。随着RAG的复杂性和涵盖多个影响其性能的概念，本文将RAG范例分为四个类别：预检索、检索、后检索和生成，从检索的角度提供了详细的视角。本文概述了RAG的演变，并通过分析重要研究来讨论该领域的进展。此外，本文还介绍了RAG的评估方法，解决了面临的挑战，并提出了未来的研究方向。通过提供有组织的框架和分类，本研究旨在巩固现有的RAG研究，澄清其技术基础，并强调其扩大LLMs适应性和应用的潜力。

论文旨在通过将检索方法与深度学习相结合，解决大语言模型的静态限制，提高其输出的准确性和可靠性，从而提供一种成本效益高的解决方案。

RAG将检索方法与深度学习相结合，动态整合最新的外部信息，从而提高大语言模型的输出质量，主要分为前检索、检索、后检索和生成四个阶段。

论文提供了一个有组织的框架和分类，对RAG进行了详细的阐述，并介绍了评估方法和未来研究方向。值得关注的是，论文提出的RAG方法可以广泛适用于大语言模型的应用领域。

最近的相关研究包括T5、GPT-3等大型语言模型的研究，以及使用检索方法提高生成模型性能的研究，如DensePhrases、REALM等。