TWOLAR: a TWO-step LLM-Augmented distillation method for passage Reranking

本文提出了TWOLAR：一种基于大型语言模型（LLM）知识蒸馏的段落重新排序的两阶段流水线。TWOLAR引入了一种新的评分策略和蒸馏过程，其中包括创建一个新颖且多样化的训练数据集。该数据集由20K个查询组成，每个查询都与通过四种不同检索方法检索到的一组文档相关联，以确保多样性，然后通过利用LLM的零-shot重新排序能力进行重新排序。我们的消融研究证明了我们引入的每个新组件的贡献。我们的实验结果显示，TWOLAR显著增强了底层模型的文档重新排序能力，在TREC-DL测试集和零-shot评估基准BEIR上与拥有三个数量级更多参数的最先进模型相匹配，甚至在某些情况下表现更好。为了方便未来的工作，我们发布了我们的数据集、微调模型和代码。

本文旨在提出一种基于大型语言模型（LLM）知识蒸馏的段落重排两阶段流水线，以提高模型的文档重排能力。

TWOLAR引入了一种新的评分策略和蒸馏过程，包括创建一个新的多样化训练数据集，利用LLM的零-shot重排能力对20K个查询进行重排，并通过消融实验证明了每个新组件的贡献。

实验结果表明，TWOLAR在TREC-DL测试集和零-shot评估基准BEIR上，显著提高了底层模型的文档重排能力，并与拥有三个数量级更多参数的最先进模型相匹配甚至超越。作者还公开了数据集、微调模型和代码，以便于未来的研究。

在这个领域中，最近的相关研究包括：BERT、RoBERTa、XLNet等大型语言模型的应用研究；以及基于知识蒸馏的模型压缩和优化研究。