Compressing Long Context for Enhancing RAG with AMR-based Concept Distillation

大型语言模型（LLMs）在信息获取方面取得了显著进展。然而，它们过度依赖可能存在缺陷的参数化知识，导致产生幻觉和不准确性，特别是在处理长尾、领域特定的查询时。检索增强生成（RAG）通过结合外部的非参数化知识来解决这一限制。然而，检索到的长上下文文档通常包含噪声、无关紧要的信息和重要知识并存，从而负面影响LLMs的注意力。受个体阅读理解中重要概念的支持作用的启发，我们提出了一种新颖的基于概念的RAG框架，其中包括基于抽象意义表示（AMR）的概念提炼算法。所提出的算法通过参考可靠的语言特征，将混乱的原始检索文档压缩成从AMR的信息节点中提炼出的关键概念的紧凑集合。这些概念明确地约束LLMs在推理过程中仅关注重要信息。我们在开放领域的问答数据集上进行了广泛的实验，以实证评估所提出的方法的有效性。结果表明，基于概念的RAG框架优于其他基线方法，特别是在支持文档数量增加时，并且在各种主干LLMs上表现出鲁棒性。这强调了提炼出的概念通过过滤干扰信息来增强RAG过程的信息量。据我们所知，这是首次将AMR引入到增强RAG中，提出了一种基于语义上下文压缩的潜在解决方案来增强推理性能。

本论文旨在解决大语言模型在处理长尾领域特定查询时，由于过度依赖潜在有缺陷的参数化知识而导致的幻觉和不准确性的问题。同时，该论文试图解决检索到的长文本文档中包含噪声和无关信息的问题。

该论文提出了一种基于概念的RAG框架，其中包含基于抽象意义表示（AMR）的概念蒸馏算法，将检索到的杂乱无序的文档压缩成从AMR的信息节点中提炼出来的关键概念集合。这些概念可以明确地约束LLMs，使其在推理过程中仅关注重要信息。

该论文提出的概念为增强RAG过程提供了信息压缩的解决方案，可以过滤干扰信息。实验结果表明，该概念型RAG框架在各种背景下均表现出色，特别是在支持文档数量增加时表现更好。此外，该论文还介绍了AMR来增强RAG的方法，这是首次在这一领域中引入AMR。

与该论文相关的研究包括：1.使用BERT的RAG模型；2.使用知识库的RAG模型；3.使用语义信息的RAG模型。