FollowIR: Evaluating and Teaching Information Retrieval Models to Follow Instructions

现代语言模型（LM）能够遵循长而复杂的指令，从而实现大量不同的用户请求。虽然信息检索（IR）模型使用这些LM作为其架构的支柱，但几乎没有一个模型允许用户在查询时提供详细的指令，从而限制了它们满足复杂信息需求的能力。在这项工作中，我们研究了指令在IR系统中的使用。首先，我们介绍了我们的数据集FollowIR，其中包含一个严格的指令评估基准以及一个训练集，帮助IR模型学习更好地遵循真实世界的指令。FollowIR重新利用了专业评估员开发的详细指令（也称为叙述），以评估检索系统。特别是，我们从三个为Text Retrieval Conference（TREC）共享任务策划的集合中构建我们的基准，这些集合每个查询包含数百到数千个标记文档，适合我们的探索。通过这个过程，我们可以通过一种新的成对评估框架来衡量IR模型遵循指令的能力。我们的结果表明，现有的检索模型未能正确使用指令，仅将其用于基本关键词，并且难以理解长篇信息。然而，我们展示了IR模型可以学习遵循复杂的指令：我们的新FollowIR-7B模型在我们的训练集上微调后有显着的改进。

这篇论文探讨了IR模型在满足复杂信息需求时缺乏使用详细指令的能力，提出了使用指令来改进IR系统的解决方案。

通过引入一个新的数据集FollowIR，该数据集包含了详细指令的评估基准和训练集，使IR模型能够更好地学习如何遵循真实世界的指令。

通过FollowIR数据集的实验，论文发现现有的IR模型无法正确使用指令，只能将其用于基本关键词，并且难以理解长篇信息。但是，通过Fine-tuning FollowIR数据集，作者提出的FollowIR-7B模型取得了显着的改进。

在相关研究方面，该论文提到了使用语言模型的信息检索模型，以及以往的指令使用研究。