RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation

大型语言模型（LLMs）具有显著的能力，但容易生成不准确或幻觉式的响应。这种限制源于它们对大量预训练数据集的依赖，使它们容易在未知情况下出现错误。为了解决这些挑战，检索增强生成（RAG）通过将外部相关文档纳入响应生成过程中，从而利用非参数化知识和LLMs的上下文学习能力。然而，现有的RAG实现主要集中于上下文检索的初始输入，忽视了需要进一步澄清或分解以获得准确响应的模糊或复杂查询的细微差别。为此，本文提出了学习用于检索增强生成的查询细化（RQ-RAG），旨在通过为其配备显式重写、分解和消歧能力来增强模型。我们的实验结果表明，当应用于7B Llama2模型时，我们的方法在三个单跳QA数据集上平均超过先前的最新技术（SOTA）1.9％，并且还展示了处理复杂的多跳QA数据集的增强性能。我们的代码可在https://github.com/chanchimin/RQ-RAG上找到。

论文旨在解决大型语言模型在生成回答时出现不准确或虚构响应的问题，提出了Retrieval-Augmented Generation (RAG)的方法，但现有的RAG实现主要关注于上下文检索的初始输入，忽略了需要进一步澄清或分解以获取准确响应的模糊或复杂查询的细微差别。

论文提出了一种名为RQ-RAG的方法，通过赋予模型明确的重写、分解和消歧能力来增强模型，从而解决现有RAG方法的局限性。

实验结果表明，将RQ-RAG应用于7B Llama2模型时，平均超过了三个单跳QA数据集的先前最先进技术（SOTA）1.9％，并且在处理复杂的多跳QA数据集方面也表现出了更好的性能。作者已经开源了代码，可在https://github.com/chanchimin/RQ-RAG上获得。

在这个领域中，最近还有一些相关的研究，如DPR、REALM、FID等。