RankZephyr: Effective and Robust Zero-Shot Listwise Reranking is a Breeze!

在信息检索中，专有的大型语言模型（LLMs）如GPT-4和开源的对应模型，如LLaMA和Vicuna，在重新排序中发挥着至关重要的作用。然而，开源和封闭模型之间的差距仍然存在，依赖专有的、不透明的模型限制了可重复性。为了解决这个差距，我们引入了RankZephyr，这是一个最先进的、用于列表式零-shot重新排序的开源LLM。RankZephyr不仅弥合了与GPT-4之间的有效性差距，而且在某些情况下甚至超越了专有模型。我们在多个数据集（TREC深度学习轨迹；BEIR的新闻和COVID）上进行了全面的评估，展示了这种能力。RankZephyr受益于战略性的训练选择，并且对于初始文档排序和重新排序的文档数量的变化具有弹性。此外，我们的模型在NovelEval测试集上的表现优于GPT-4，该测试集包括超出其训练期的查询和段落，这解决了有关数据污染的问题。为了促进这个快速发展的领域的进一步研究，我们提供了所有必要的代码来重现我们的结果，网址为https://github.com/castorini/rank_llm。

本论文旨在解决开源和私有大型语言模型在信息检索中的差距问题，提出了一种名为RankZephyr的开源大型语言模型，用于零-shot reranking。同时，论文还验证了该模型在多个数据集上的有效性。

RankZephyr是一种开源的大型语言模型，用于零-shot reranking，通过一些策略性的训练选择，能够弥补开源和私有模型之间的差距，并且在某些情况下超越私有模型。

论文使用多个数据集对RankZephyr进行了全面评估，并且提供了所有代码以便于结果的复现。此外，RankZephyr在NovelEval测试集上的表现超过了GPT-4，这解决了数据污染的问题。该模型的鲁棒性能够应对初始文档排序和重新排序文档数量的变化。

近期的相关研究包括GPT-4和LLaMA等大型语言模型在信息检索中的应用，以及其他零-shot reranking模型的研究，如DRMM和MatchZoo。