DRAGIN: Dynamic Retrieval Augmented Generation based on the Information Needs of Large Language Models

动态检索增强生成（RAG）范式在大型语言模型（LLMs）的文本生成过程中积极决定何时和何物进行检索。该范式有两个关键要素：确定激活检索模块的最佳时机（决定何时检索）和一旦触发检索，制定适当的查询（确定检索什么）。然而，目前的动态RAG方法在这两个方面都存在不足。首先，决定何时检索的策略通常依赖于静态规则。此外，决定检索什么的策略通常限制于LLM的最近一句话或最后几个标记，而LLM的实时信息需求可能跨越整个上下文。为了克服这些限制，我们引入了一个新的框架，DRAGIN，即基于LLMs实时信息需求的动态检索增强生成。我们的框架专门设计用于在文本生成过程中基于LLM的实时信息需求决定何时和何物进行检索。我们在4个知识密集型生成数据集上全面评估DRAGIN和现有方法。实验结果表明，DRAGIN在所有任务上均实现了卓越的性能，证明了我们方法的有效性。我们在GitHub上开源了所有代码、数据和模型：https://github.com/oneal2000/DRAGIN/tree/main。

论文旨在解决大语言模型（LLM）在文本生成过程中信息检索的问题，现有的动态检索方法在决定何时检索和检索什么方面存在局限性。

论文提出了一种名为DRAGIN的新框架，该框架可以根据LLM在文本生成过程中的实时信息需求来决定何时检索和检索什么。

论文在4个知识密集型生成数据集上进行了广泛评估，结果表明DRAGIN在所有任务上均取得了优异的性能。此外，论文还在GitHub上开源了所有代码、数据和模型。

与本文相关的研究包括：1. T5模型；2. GPT-3模型；3. RAG模型。