LongRAG: A Dual-Perspective Retrieval-Augmented Generation Paradigm for Long-Context Question Answering

长文本问答（LCQA）是一项具有挑战性的任务，旨在对长文本文档进行推理以生成准确的答案。现有的用于LCQA的长文本大型语言模型（LLM）通常会遇到“中间迷失”问题。检索增强生成（RAG）通过提供外部事实证据来缓解这一问题。然而，其分块策略破坏了全局长文本信息，且在长文本中的低质量检索导致LLM因大量噪声而难以识别有效的事实细节。为此，我们提出了LongRAG，这是一种通用的、双视角的、稳健的基于LLM的RAG系统范式，旨在增强RAG对复杂长文本知识（即全局信息和事实细节）的理解。我们将LongRAG设计为一个即插即用的范式，便于适应各种领域和LLM。在三个多跳数据集上的广泛实验表明，LongRAG显著优于长文本LLM（提升6.94%）、先进的RAG（提升6.16%）和Vanilla RAG（提升17.25%）。此外，我们进行了定量消融研究和多维度分析，突显了系统组件和微调策略的有效性。数据和代码可在https://github.com/QingFei1/LongRAG 获取。

论文尝试解决长文本上下文问答任务（LCQA）中的“迷失在中间”问题，即现有长文本大型语言模型（LLMs）在处理长文档时难以准确捕捉和利用全局信息和事实细节。这是该领域内一个持续存在的挑战。

论文提出了一种名为LongRAG的新系统，旨在通过双视角方法增强RAG系统的性能。LongRAG不仅提供外部事实证据，还通过改进的检索策略保持全局信息的连贯性，从而帮助LLMs更有效地识别和利用事实细节。这一方法在当前研究中具有创新性，因为它结合了全局信息和局部细节的优势。

论文通过三个多跳数据集进行了广泛的实验，证明LongRAG显著优于现有的长文本LLMs、高级RAG和Vanilla RAG。此外，作者还进行了定量消融研究和多维度分析，展示了系统各组件的有效性和调优策略。所有数据和代码已开源，可供其他研究人员复现和进一步研究。未来的研究可以探索如何将LongRAG应用于更多领域和更大规模的数据集。

近期在这个领域的一些相关研究包括： 1. “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks” - Facebook AI Research 2. “Longformer: The Long-Document Transformer” - Allen Institute for AI 3. “Efficient Retrieval for Few-Shot Learning” - Google Research 这些研究都试图通过不同的方法来改进长文本处理和知识密集型任务的性能。