FollowIR: Evaluating and Teaching Information Retrieval Models to Follow Instructions

现代语言模型（LMs）能够遵循长而复杂的指令，实现大量多样化的用户请求。虽然信息检索（IR）模型使用这些LM作为其架构的基础，但几乎没有一个模型允许用户在查询时提供详细的指令，从而限制了它们满足复杂信息需求的能力。在这项工作中，我们研究了IR系统中指令的使用。首先，我们介绍了我们的数据集FollowIR，其中包含严格的指令评估基准以及用于帮助IR模型学习更好地遵循现实世界指令的训练集。FollowIR重新利用了专业评估人员开发的详细指令（也称为叙述），以评估检索系统。特别是，我们从三个为Text REtrieval Conference（TREC）共享任务策划的集合中构建了我们的基准，这些集合每个查询包含数百到数千个标记文档，适合我们的探索。通过这个过程，我们可以通过一种新的成对评估框架衡量IR模型遵循指令的能力。我们的结果表明，现有的检索模型未能正确使用指令，仅将其用于基本关键词，并且难以理解长篇信息。然而，我们展示了IR模型可以学习遵循复杂的指令：我们的新FollowIR-7B模型在我们的训练集上微调后有显著的改进。

研究如何在信息检索系统中使用详细指令以满足复杂信息需求，并开发了评估基准数据集FollowIR以帮助IR模型更好地遵循实际指令。

通过引入详细指令的新的配对评估框架，评估了现有信息检索模型对指令的使用情况，并表明现有模型对于长篇指令的理解存在困难。同时，通过在FollowIR数据集上进行微调，展示了IR模型可以学会遵循复杂的指令。

论文提出了一个新的数据集FollowIR，包含详细指令的评估基准和训练集，用于评估和改进IR模型的指令遵循能力。通过新的配对评估框架，发现现有IR模型对于长篇指令的理解存在困难，但通过在FollowIR数据集上进行微调，可以显著提高IR模型的指令遵循能力。

近期相关研究包括利用语言模型来改进信息检索系统的研究，以及探索如何使用人类生成的语言指令来改进自然语言处理模型的研究。