Generate-then-Ground in Retrieval-Augmented Generation for Multi-hop Question Answering

多跳问答任务对于大型语言模型(LLMs)来说是一个巨大的挑战，因为需要大量的知识。目前的解决方案，如检索增强生成(Retrieval-Augmented Generation)，通常从外部语料库中检索潜在的文档以读取答案。然而，这种检索-读取范式的性能受到检索器和检索文档中不可避免的噪声的限制。为了缓解这些挑战，我们引入了一种新颖的生成-接地(GenGround)框架，将LLMs的参数化知识与外部文档协同解决多跳问题。GenGround赋予LLMs两个阶段的交替能力，直到得出最终答案：(1)制定一个更简单的单跳问题，并直接生成答案；(2)在检索到的文档中接地问题-答案对，修正任何错误的预测答案。我们还提出了一种教学接地蒸馏方法，将我们的方法推广到更小的模型中。在四个数据集上进行的大量实验表明了我们方法的优越性。

本论文旨在解决多跳问题回答中检索-生成范式的局限性，提出了一种新的生成-基于检索的框架（GenGround），通过结合LLMs和外部文档的参数化知识来解决多跳问题。

GenGround框架包含两个阶段：(1)生成单跳问题的答案；(2)在检索到的文档中进行基础，修正任何错误的预测。同时，本论文提出了一种指导基础蒸馏方法，以将该方法推广到较小的模型中。

本论文在四个数据集上进行了广泛的实验，结果表明GenGround框架的性能优于目前的检索-生成方法。此外，论文还提出了指导基础蒸馏方法，使得该方法可以推广到较小的模型中。论文还开源了代码。

与此相关的最新研究包括：Retrieval-Augmented Generation（RAG）和Dense Passage Retrieval（DPR）。