Pandora's Box or Aladdin's Lamp: A Comprehensive Analysis Revealing the Role of RAG Noise in Large Language Models

检索增强生成（RAG）已成为解决大型语言模型（LLMs）中的幻觉的关键方法。尽管最近的研究将RAG模型扩展到复杂的嘈杂场景，但这些探索通常局限于有限的噪声类型，并预设噪声对LLMs有害，可能偏离实际检索环境并限制实际应用。在本文中，我们从语言角度定义了七种不同的噪声类型，并建立了一个噪声RAG基准（NoiserBench），这是一个包含多个数据集和推理任务的综合评估框架。通过对具有不同架构和规模的八个典型LLM进行实证评估，我们揭示了这些噪声可以进一步分类为两个实用组：有益于LLM的噪声（称为有益噪声）和有害于LLM的噪声（称为有害噪声）。虽然有害噪声通常会损害性能，有益噪声可能会增强模型能力和整体性能的几个方面。我们的分析为开发更强大、更适应的RAG解决方案和在各种检索场景下减轻幻觉提供了见解。

论文旨在解决大型语言模型中出现幻觉的问题，通过定义七种不同的噪声类型并建立综合评估框架来评估这些噪声对模型性能的影响。

通过实验发现，这些噪声可以进一步分为两个实用的组别：有益于LLM的噪声和有害于LLM的噪声。有害的噪声通常会损害性能，而有益的噪声可能会增强模型能力和整体性能。

论文定义了七种不同的噪声类型，并建立了一个评估框架，评估这些噪声对模型性能的影响。通过实验发现，有益于LLM的噪声和有害于LLM的噪声可以进一步分为两个实用的组别。这篇论文提供了开发更强大、适应性更强的RAG解决方案和减少幻觉的洞见。

最近的相关研究包括《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》和《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》。