The Power of Noise: Redefining Retrieval for RAG Systems

检索增强生成（RAG）系统是对传统大型语言模型（LLM）的重大改进。RAG系统通过整合通过信息检索（IR）阶段检索的外部数据来增强其生成能力，克服了标准LLM的局限性，后者仅限于预先训练的知识和有限的上下文窗口。该领域的大多数研究主要集中在RAG系统中LLM的生成方面。我们的研究通过全面和批判性地分析IR组件对RAG系统的影响来填补这一空白。本文分析了一个检索器应该具备哪些特征，以便有效地生成RAG的提示，重点是应检索哪种类型的文档。我们评估了各种因素，例如文档与提示的相关性、它们的位置以及上下文中包含的数量。我们的研究结果揭示了许多见解，其中包括包含无关文档可以意外地提高超过30%的准确性表现，与我们最初的假设相矛盾。这些结果强调了开发专门的策略来将检索与语言生成模型集成的必要性，从而为未来的研究奠定基础。

本文旨在分析信息检索组件对Retrieval-Augmented Generation (RAG)系统的影响，探究文献检索的关键特征，以及检索到的文献应该具备哪些特点，从而提高RAG系统的生成能力。

本文的关键思路是分析信息检索对RAG系统的影响，研究检索到的文献应该具备的特点，以及如何将检索和语言生成模型相结合，为未来研究奠定基础。

本文通过实验研究发现，包括不相关的文献可以意外地提高RAG系统的准确性超过30％，这一结果对于未来的研究具有重要意义。本文还提出了一些值得关注的问题，例如如何设计检索策略，使用哪些数据集，以及开源代码的问题。

在这个领域中，最近的相关研究包括《Retrieval-Augmented Language Model Pre-training》、《Unsupervised Learning of Retrieval-Augmented Language Model with Large-scale Weak Supervision》等。