A Survey on RAG Meets LLMs: Towards Retrieval-Augmented Large Language Models

作为人工智能中最先进的技术之一，检索增强生成（RAG）技术可以提供可靠和最新的外部知识，为众多任务提供极大的便利。特别是在人工智能生成内容（AIGC）的时代，RAG在提供额外知识方面的强大能力使其能够协助现有的生成型人工智能产生高质量的输出。最近，大型语言模型（LLM）在语言理解和生成方面展示了革命性的能力，但仍面临内部知识的虚幻和过时等固有限制。鉴于RAG在提供最新和有用的辅助信息方面的强大能力，检索增强的大型语言模型已经出现，以利用外部和权威的知识库，而不是仅仅依赖模型的内部知识，以增强LLM的生成质量。在本调查中，我们全面回顾了检索增强大型语言模型（RA-LLM）的现有研究，涵盖三个主要的技术视角：架构、训练策略和应用。作为初步知识，我们简要介绍了LLM的基础和最新进展。然后，为了说明RAG对LLM的实际意义，我们按应用领域对主流相关工作进行分类，具体说明每个领域的挑战以及RA-LLM的相应能力。最后，为了提供更深入的见解，我们讨论了目前的限制和未来研究的几个有前途的方向。

研究Retrieval-Augmented Generation (RAG)在大型语言模型中的应用，以提高生成质量。

利用外部知识库来增强大型语言模型的生成能力，从而提高生成质量。

论文综述了RAG在大型语言模型中的应用，包括架构、训练策略和应用。论文还介绍了实验设计和使用的数据集，提出了未来研究的方向。

最近相关研究有：Pretrained Transformers with Augmented Memory for Continual Learning (ICLR 2021)，Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (EMNLP 2020)。