A Systematic Investigation of Distilling Large Language Models into Cross-Encoders for Passage Re-ranking

这段摘要讲述了由大型语言模型（LLMs）提炼出的交叉编码器通常比在人工标记数据上微调的交叉编码器更有效，但提炼出的模型通常无法达到其教师LLM的效果。为了研究在人工标记数据上微调交叉编码器的最佳实践（例如硬负采样、深度采样和列表损失函数）是否有助于改善LLM排序器的提炼，研究人员构建并发布了一个新的提炼数据集：Rank-DistiLLM。在实验中，使用Rank-DistiLLM训练的交叉编码器达到了LLMs的效果，同时效率更高。他们的代码和数据可在https://github.com/webis-de/msmarco-llm-distillation上获取。

论文旨在研究如何通过最佳实践的方法，使用手动标记数据对LLM排名器进行蒸馏，以提高跨编码器的效果。

通过使用手动标记数据和最佳实践技术，论文提出了一种方法来提高LLM排名器蒸馏的效率和效果。

Rank-DistiLLM是一个新的蒸馏数据集，可以有效地提高跨编码器的效果。实验表明，使用Rank-DistiLLM训练的跨编码器可以达到LLM的效果，同时具有更高的效率。研究还提供了代码和数据集。

最近的相关研究包括使用蒸馏技术来提高神经网络的效果，以及使用手动标记数据来改进模型的训练。