Meta Knowledge for Retrieval Augmented Large Language Models

检索增强生成（Retrieval Augmented Generation，RAG）是一种技术，用于增强大型语言模型（Large Language Models，LLMs）的上下文相关、时间关键或特定领域信息，而不改变底层模型参数。然而，构建能够有效合成大量和多样化文档信息的RAG系统仍然是一个重大挑战。我们引入了一种新的数据中心RAG工作流程，将传统的检索-读取系统转化为更先进的准备-重写-检索-读取框架，以实现更高的领域专家级别的知识库理解。我们的方法依赖于为每个文档生成元数据和合成的问题和答案（QA），以及引入元知识摘要（Meta Knowledge Summary，MK Summary）的新概念，用于基于元数据的文档群集。所提出的创新使得可以实现个性化用户查询增强和全面的知识库信息检索。我们的研究做出了两个重要贡献：使用LLMs作为评估器并采用新的比较性能指标，我们证明（1）使用合成问题匹配的增强查询明显优于依赖于文档分块的传统RAG管道（p < 0.01），以及（2）元知识增强查询进一步显著提高了检索精度和召回率，以及最终答案的广度、深度、相关性和特异性。我们的方法具有成本效益，使用Claude 3 Haiku每2000篇研究论文的成本不到20美元，并且可以通过任何语言或嵌入模型的微调进一步增强端到端RAG管道的性能。

本论文旨在解决如何构建有效的RAG系统，以从大量和多样化的文档中合成上下文相关、时间关键或领域特定信息的问题。

提出了一种基于数据的RAG工作流程，使用元数据和合成的问答对每个文档进行建模，并引入元知识摘要的概念来实现对元数据为基础的文档聚类的个性化用户查询增强和深入信息检索。

本论文采用LLMs作为评估器，并使用新的比较性能指标，证明了使用合成问题匹配的增强查询显著优于依赖文档分块的传统RAG管道，并且元知识增强查询可以显著提高检索精度、召回率、答案广度、深度、相关性和特异性。该方法成本效益高，使用Claude 3 Haiku每2000篇研究论文的成本不到20美元，可以与任何语言或嵌入模型的微调相结合，以进一步增强端到端RAG管道的性能。

最近在这个领域中，还有一些相关的研究，如《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》、《Dense Passage Retrieval for Open-Domain Question Answering》等。