Scaling Down, LiTting Up: Efficient Zero-Shot Listwise Reranking with Seq2seq Encoder-Decoder Models

最近在使用LLMs进行零-shot排序的研究中取得了最先进的结果。然而，这些方法并非没有缺点。所提出的方法依赖于具有数十亿个参数和有限上下文大小的大型LLMs。本文介绍了LiT5-Distill和LiT5-Score，这是两种利用T5序列到序列编码器-解码器模型进行高效零-shot排序的方法。我们的方法展示了与最近的最先进LLM rerankers相比具有竞争力的reranking效果，而模型规模显著较小。通过LiT5-Score，我们还探索了使用交叉注意力来计算相关性分数以进行reranking的方法，消除了对外部段落相关性标签的依赖。我们提供了一系列模型，包括220M参数到3B参数的模型，所有这些模型都具有强大的reranking结果，挑战了大规模模型对于有效零-shot reranking的必要性，并为更有效的listwise reranking解决方案开辟了途径。我们提供了代码和脚本，以在https://github.com/castorini/LiT5上复现我们的结果。

本论文旨在提出一种有效的零-shot listwise reranking方法，解决当前大规模LLMs模型的局限性和上下文大小的限制。

本论文提出了LiT5-Distill和LiT5-Score两种方法，利用T5序列到序列编码器-解码器模型实现高效的零-shot listwise reranking，同时消除了对外部语段相关性标签的依赖。

本论文提供了一系列模型，从220M参数到3B参数，都具有强大的reranking效果，挑战了大规模模型在有效的零-shot reranking中的必要性，并为更有效的listwise reranking解决方案开辟了新的途径。作者提供了代码和脚本以重现实验结果。

最近的相关研究包括使用LLMs的零-shot listwise reranking方法，但这些方法存在模型规模大、上下文大小受限等问题。