Modular RAG: Transforming RAG Systems into LEGO-like Reconfigurable Frameworks

检索增强生成（Retrieval-augmented Generation，简称RAG）显著提升了大语言模型（Large Language Models，简称LLM）在处理知识密集型任务方面的能力。应用场景的不断增加推动了RAG的发展，导致先进的检索器、LLM和其他互补技术的整合，进而增加了RAG系统的复杂性。然而，快速的发展已经超越了基础的RAG范式，许多方法难以在“先检索再生成”的过程下统一。在这种情况下，本文研究了现有RAG范式的局限性，并引入了模块化RAG框架。通过将复杂的RAG系统分解为独立的模块和专门的运算符，它提供了一个高度可重构的框架。模块化RAG超越了传统的线性架构，采用了更先进的设计，集成了路由、调度和融合机制。本文还基于广泛的研究，识别了普遍的RAG模式——线性、条件、分支和循环，并对它们各自的实现细节进行了全面分析。模块化RAG为RAG系统的概念化和部署提供了创新性的机会。最后，本文探讨了新运算符和范式的潜在出现，为RAG技术的持续演进和实际部署建立了坚实的理论基础和实践路线图。

论文试图解决RAG系统的限制问题，提出模块化RAG框架以应对复杂性和高度可配置性的需求。

通过将复杂的RAG系统分解为独立模块和专用操作符，实现高度可配置的框架，包括路由、调度和融合机制，突破传统线性架构。

论文分析了RAG系统的常见模式，并探讨了新操作符和范式的潜在出现。实验使用了广泛的研究，为RAG技术的持续演进和实际部署提供了坚实的理论基础和实用路线图。

最近的相关研究包括“Retrieval-Augmented Generation for Knowledge-Intensive Tasks”和“Hybrid Retrieval-Generation Transformers for Open-Domain Question Answering”。