A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models

作为人工智能中最先进的技术之一，检索增强生成（RAG）可以提供可靠和最新的外部知识，为众多任务提供巨大便利。特别是在人工智能生成内容（AIGC）的时代，检索在提供额外知识方面的强大能力使得RAG能够协助现有的生成型人工智能产生高质量的输出。最近，大型语言模型（LLM）在语言理解和生成方面展示了革命性的能力，但仍面临固有的限制，如幻觉和过时的内部知识。鉴于RAG提供最新和有用的辅助信息的强大能力，检索增强大型语言模型（RA-LLM）已经出现，以利用外部和权威知识库，而不仅仅依赖于模型的内部知识，以增强LLM的生成质量。在这项调查中，我们全面审查了RA-LLM中现有的研究，涵盖了三个主要的技术方面：体系结构、训练策略和应用。作为初步了解，我们简要介绍了LLM的基础和最新进展。然后，为了说明RAG对LLM的实际意义，我们系统地审查了主流相关工作的体系结构、训练策略和应用领域，具体详细介绍了每个方面的挑战和RA-LLM的相应能力。最后，为了提供更深入的见解，我们讨论了当前的限制和未来研究的几个有前途的方向。关于这项调查的更新信息可以在https://advanced-recommender-systems.github.io/RAG-Meets-LLMs/找到。

本论文旨在研究如何利用Retrieval-Augmented Generation（RAG）技术来提高Large Language Models（LLMs）的生成能力，解决LLMs内部知识有限的问题。

论文提出了Retrieval-Augmented Large Language Models（RA-LLMs）的概念，即在LLMs的生成过程中，利用RAG技术从外部知识库中获取辅助信息来提高生成质量。

论文系统地回顾了RA-LLMs的现有研究，包括架构、训练策略和应用领域。实验使用了多个数据集，并提出了未来研究的方向。

近期的相关研究包括《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》、《Dense Passage Retrieval for Open-Domain Question Answering》等。