R^2AG: Incorporating Retrieval Information into Retrieval Augmented Generation

本文介绍了一种新的增强检索辅助生成（Retrieval augmented generation，RAG）框架——R$^2$AG，用于填补大型语言模型（LLMs）和检索器之间因训练目标和架构不同而存在的语义鸿沟。传统RAG框架中，LLMs passively接受检索器提供的外部文档，但由于缺乏对检索信息的理解，这些文档往往无法被充分利用。R$^2$AG框架通过引入Retrieval information，即检索信息，来填补这一空缺。具体来说，R$^2$AG采用R$^2$-Former模型捕获检索信息，并设计了一种检索感知的提示策略来将检索信息整合到LLMs的生成过程中。该框架适用于LLMs和检索器均已固定的低资源场景。本文在五个数据集上进行了广泛实验，验证了R$^2$AG的有效性、鲁棒性和效率。分析结果表明，检索信息在生成过程中起到了锚定作用，帮助LLMs填补了语义鸿沟。

论文旨在解决Retrieval Augmented Generation（RAG）中存在的语义鸿沟问题，即由于LLMs和Retriever的训练目标和架构的差异，导致LLMs passively接受Retriever提供的文档，从而导致生成过程中的不理解。这是否是一个新问题？

论文提出了一种新的增强RAG框架，称为R$^2$AG，通过将检索信息集成到LLMs的生成中来填补语义鸿沟。具体来说，R$^2$AG利用Retriever的细微特征，并使用R$^2$-Former来捕捉检索信息。然后，设计了一种检索感知提示策略，将检索信息集成到LLMs的生成中。相比当前领域的研究，这篇论文的思路有什么新意？

论文的亮点包括：1. 提出了一种新的增强RAG框架，填补了LLMs和Retriever之间的语义鸿沟；2. R$^2$AG适用于LLMs和Retriever均已冻结的低源情况；3. 在五个数据集上进行了广泛的实验，验证了R$^2$AG的有效性、鲁棒性和效率；4. 分析表明，检索信息作为辅助LLMs生成的锚点，填补了语义鸿沟。

最近在这个领域中，还有一些相关的研究，例如《Dense Passage Retrieval for Open-Domain Question Answering》、《Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild》等。