When to Retrieve: Teaching LLMs to Utilize Information Retrieval Effectively

本文展示了大型语言模型（LLM）如何有效地学习使用现成的信息检索（IR）系统，尤其是在需要额外的上下文来回答给定问题时。鉴于IR系统的表现，回答问题的最佳策略并不总是涉及外部信息检索，而往往涉及利用LLM本身的参数内存。先前的研究在PopQA数据集中确定了这种现象，其中使用LLM的参数内存有效地回答了最流行的问题，而不那么流行的问题则需要使用IR系统。在此基础上，我们提出了一种针对LLM的定制化训练方法，利用现有的开放领域问答数据集。在这里，LLM被训练生成一个特殊的标记<RET>，当它们不知道如何回答一个问题时使用。我们对PopQA数据集上的自适应检索LLM（Adapt-LLM）的评估展示了比同一LLM的三种配置下的改进：（i）检索所有问题的信息，（ii）始终使用LLM的参数内存，以及（iii）使用流行度阈值来决定何时使用检索器。通过我们的分析，我们证明了Adapt-LLM能够在确定不知道如何回答问题时生成<RET>标记，表明需要IR，而当它选择仅依赖其参数内存时，它能够实现显著的高准确性水平。

论文旨在展示大型语言模型（LLMs）在需要额外上下文来回答问题时，如何有效地学习使用现成的信息检索（IR）系统。同时，论文也试图解决在PopQA数据集中，使用IR系统回答不太流行的问题的问题。

论文提出了一种针对LLMs的定制训练方法，通过训练LLMs在不知道答案时生成一个特殊的标记。Adapt-LLM是一种适应性检索LLM，它能够在需要IR时生成标记，而在只使用参数记忆时实现显著高的准确性水平。

论文使用了开放领域问答数据集，设计了实验来评估Adapt-LLM在PopQA数据集上的表现。Adapt-LLM相比于三种配置下的同一LLM，表现出了更好的性能。论文的亮点包括提出了一种新的训练方法，以及Adapt-LLM的性能表现。

最近在这个领域中，还有一些相关的研究，例如《Improving Open-Domain Question Answering with a Knowledge Graph and Neural Contextualization》和《Dense Passage Retrieval for Open-Domain Question Answering》。