Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More?

长文本语言模型（LCLMs）有可能彻底改变我们传统依赖检索系统或数据库的任务处理方法。利用LCLMs本身可以摄取和处理整个信息语料库的能力，带来了许多优势。它提高了用户友好性，消除了对工具专业知识的需求，提供了强大的端到端建模，最大程度地减少了复杂流程中的级联错误，并允许在整个系统中应用复杂的提示技术。为了评估这种范式转变，我们引入了LOFT，一个需要上下文长度达数百万标记的真实世界任务基准，旨在评估LCLMs在上下文检索和推理方面的表现。我们的研究结果显示，尽管LCLMs从未明确地接受过这些任务的训练，但它们令人惊讶地能够与最先进的检索和RAG系统相媲美。然而，在像SQL这样需要组合推理的领域，LCLMs仍然面临挑战。值得注意的是，提示策略显著影响性能，强调了在上下文长度增加的情况下需要继续研究。总的来说，LOFT为LCLMs提供了一个严格的测试场，展示了它们替代现有范式和处理新任务的潜力随着模型能力的扩展而不断增长。

论文旨在评估长文本语言模型（LCLMs）在处理需要上下文长度长达数百万个标记的任务时的表现。研究人员想知道LCLMs是否能够在不需要外部工具的情况下进行原生处理，并且能否取代现有的检索系统或数据库。

论文的关键思路是通过设计一个真实世界的基准测试LOFT来评估LCLMs的表现。研究人员发现，尽管LCLMs从未明确训练过处理检索和推理任务，但它们的表现仍然可以与最先进的检索和RAG系统相媲美。然而，LCLMs在需要SQL-like任务中的组合推理等领域仍面临挑战。

论文的实验设计了一个真实世界的基准测试LOFT来评估LCLMs的表现。研究人员发现LCLMs的表现令人惊讶，尽管从未被明确训练过处理检索和推理任务，但它们的表现仍然可以与最先进的检索和RAG系统相媲美。此外，论文还强调了提示策略对性能的重要影响，强调了随着上下文长度的增加，需要继续研究的问题。

最近在这个领域中，还有一些相关的研究，例如《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》和《UnifiedQA: Crossing Format Boundaries With a Single QA System》。