Ranked List Truncation for Large Language Model-based Re-Ranking

我们从一种新颖的“检索再排序”角度研究了排名列表截断（RLT），通过截断已检索的列表（即修剪重新排序的候选项），我们优化了重新排序。RLT对于重新排序非常重要，因为它可以通过在每个查询的基础上向重新排序器发送可变长度的候选列表来提高重新排序的效率。它还有可能提高重新排序的效果。尽管它很重要，但应用RLT方法到这种新的角度的研究有限。为了填补这一研究空白，我们在重新排序的背景下复现了现有的RLT方法，特别是新出现的基于大型语言模型（LLM）的重新排序。特别是，我们从三个方面研究了在检索-再排序设置中评估RLT方法的已有发现的普适性：（i）评估基于词汇的第一阶段检索的LLM基础的重新排序中的RLT方法，（ii）调查不同类型的第一阶段检索器对RLT方法的影响，以及（iii）调查不同类型的重新排序器对RLT方法的影响。我们在TREC 2019和2020深度学习跟踪上进行实验，研究了涉及3个检索器和2个重新排序器的8种RLT方法的管道。我们对重新排序背景下的RLT方法有了新的见解。

本论文旨在从“检索-再排序”角度研究排名列表截断（RLT）方法，优化再排序过程中检索列表的截断，从而提高再排序的效率和效果。此前在这个角度下对RLT方法的研究较少，本文试图填补这一研究空白。

本文从三个角度探究RLT方法在“检索-再排序”过程中的应用情况：在基于大型语言模型（LLM）的再排序中，评估RLT方法的效果；探究不同类型的第一阶段检索器对RLT方法的影响；探究不同类型的再排序器对RLT方法的影响。在TREC 2019和2020深度学习跟踪任务上进行了实验，共涉及8种RLT方法，3种检索器和2种再排序器。

本文的亮点在于从“检索-再排序”角度研究RLT方法，填补了这一研究空白；在基于LLM的再排序中，探究了不同类型的第一阶段检索器和再排序器对RLT方法的影响；在TREC 2019和2020深度学习跟踪任务上进行了实验，提供了可供参考的实验结果；本文提供了开源代码，有助于其他研究者开展相关研究。

在这个领域中，最近的相关研究包括“Deep Relevance Ranking Using Enhanced Document-Query Interactions”（2019）和“BERT re-ranking with model-generated queries for open-domain QA”（2020）等。