Long Context vs. RAG for LLMs: An Evaluation and Revisits

扩展上下文窗口（即长上下文，LC）和使用检索器有选择地访问相关信息（即检索增强生成，RAG）是使大型语言模型（LLM）能够整合极长外部上下文的两种主要策略。本文重新审视了近期关于这一主题的研究，强调其关键见解和差异。随后，我们通过筛选掉无需外部上下文即可回答的问题，识别最有效的检索方法，并扩展数据集，提供了更全面的评估。我们发现，在问答基准测试中，LC通常优于RAG，特别是在基于维基百科的问题上。基于摘要的检索表现与LC相当，而基于片段的检索则稍逊一筹。然而，RAG在对话型和一般性问题查询中具有优势。这些见解突显了RAG和LC策略之间的权衡，为未来优化带有外部知识源的LLM提供了指导。我们还深入讨论了这一主题，强调了现有研究中常常被忽视的上下文相关性的重要性。

该论文试图评估和比较两种主要策略——扩展上下文窗口（Long Context, LC）和检索增强生成（Retrieval-Augmented Generation, RAG），以解决大型语言模型（LLMs）在处理极长外部上下文时的性能问题。这是一个相对较新的问题，因为随着LLMs的发展，如何有效地利用外部知识源成为研究热点。

论文的关键思路是通过重新审视最近的研究，提供更全面的评估框架。它不仅比较了LC和RAG在不同任务中的表现，还特别关注了外部上下文的相关性。相比之前的研究，这篇论文强调了过滤掉无需外部上下文即可回答的问题，并使用更广泛的基准数据集来评估这些方法的有效性。

论文的主要亮点包括：1) 发现LC在基于维基百科的问题回答中表现优于RAG；2) 总结式检索方法的表现与LC相当，而分块检索则稍逊一筹；3) RAG在对话型和一般性问题查询中有优势。此外，作者提供了关于上下文相关性的深入讨论，并指出了未来优化LLM与外部知识源结合的方向。实验设计涵盖了多种类型的任务和数据集，但未提及是否开源代码。

近期相关研究包括：1)《Improving Long-Form Question Answering with Retrieval-Augmented Generation》；2)《Enhancing Language Models with External Knowledge for Improved Contextual Understanding》；3)《Evaluating the Effectiveness of Context Length in Large Language Models》。这些研究都集中在如何提升LLMs处理长文本和外部知识的能力。