Retrieval Augmented Generation (RAG) and Beyond: A Comprehensive Survey on How to Make your LLMs use External Data More Wisely

大型语言模型（LLMs）结合外部数据已经展示出在完成实际任务方面的卓越能力。将外部数据集成到LLMs中的技术，如检索增强生成（RAG）和微调，正在受到越来越多的关注和广泛应用。然而，在各个专业领域有效部署数据增强的LLMs面临着重大挑战。这些挑战涵盖了广泛的问题，从检索相关数据和准确解释用户意图到充分利用LLMs的推理能力来完成复杂任务。我们认为，对于数据增强的LLMs应用，没有一种适用于所有情况的解决方案。在实践中，表现不佳通常是由于未能正确识别任务的核心焦点或任务本质上需要混合多种能力，必须将其分解以获得更好的解决方案。在本调查中，我们提出了一种RAG任务分类方法，根据所需的外部数据类型和任务的主要焦点，将用户查询分为四个级别：显式事实查询、隐式事实查询、可解释的理由查询和隐藏的理由查询。我们定义了这些查询级别，提供相关数据集，并总结了解决这些挑战的关键挑战和最有效的技术。最后，我们讨论了将外部数据集成到LLMs中的三种主要形式：上下文、小模型和微调，突出它们各自的优点、局限性和适合解决的问题类型。这项工作旨在帮助读者彻底理解和分解构建LLM应用程序的数据要求和关键瓶颈，提供解决不同挑战的解决方案，并作为指南系统地开发这些应用程序。

本篇论文旨在探讨将外部数据整合到大型语言模型中的挑战和解决方案，提出了一种将用户查询分类的方法，并讨论了三种将外部数据整合到大型语言模型中的方法。

本文提出了一种将用户查询分类的方法，分为四个级别，并讨论了三种将外部数据整合到大型语言模型中的方法，即上下文、小模型和微调。

本文提供了相关数据集，总结了解决这些挑战的有效技术，并讨论了不同方法的优缺点和适用范围。此外，本文还探讨了大型语言模型在复杂任务中的推理能力和应用前景。

最近的相关研究包括GPT-3、T5和BERT等大型语言模型，以及RAG等将外部数据整合到大型语言模型中的技术。相关论文包括《Language Models are Few-Shot Learners》、《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》和《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》等。