Unified Active Retrieval for Retrieval Augmented Generation

在检索增强生成（RAG）中，检索并不总是有帮助的，而将其应用于每个指令则是次优的。因此，确定是否检索对于RAG至关重要，这通常被称为主动检索。然而，现有的主动检索方法面临两个挑战：1.它们通常依赖于单一标准，难以处理各种类型的指令。2.它们依赖于专门的和高度区分的程序，因此将它们结合起来会使RAG系统更加复杂，并导致更高的响应延迟。为了解决这些挑战，我们提出了统一主动检索（UAR）。UAR包含四个正交标准，并将它们转化为即插即用的分类任务，从而实现了多方面的检索定时判断，且额外推理成本可以忽略不计。我们进一步介绍了统一主动检索标准（UAR-Criteria），旨在通过标准化程序处理各种不同的主动检索场景。针对四种代表性用户指令的实验表明，UAR在检索定时判断和下游任务的性能方面明显优于现有工作，这表明UAR的有效性及其对下游任务的帮助。

本文旨在解决Retrieval-Augmented Generation (RAG)中的Active Retrieval问题，即如何确定何时进行检索，以及如何处理各种指令类型的检索问题。

本文提出了一种名为Unified Active Retrieval (UAR)的方法，该方法将四个不同的检索标准转化为可插拔的分类任务，以实现多方面的检索定时判断，并通过Unified Active Retrieval Criteria (UAR-Criteria)进行标准化处理，从而处理各种不同类型的检索问题。

本文的实验结果表明，UAR在检索定时判断和下游任务的性能方面显著优于现有方法，展示了UAR的有效性和对下游任务的帮助。此外，本文还介绍了四种代表性的用户指令类型，并使用开源数据集进行了实验。

相关研究包括但不限于：1. DARTS: Differentiable Architecture Search；2. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding；3. T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer；4. GPT-3: Language Models are Few-Shot Learners。