TourRank: Utilizing Large Language Models for Documents Ranking with a Tournament-Inspired Strategy

大型语言模型（LLMs）越来越多地被用于零-shot文档排名，取得了令人瞩目的成果。然而，在LLMs用于排名方面仍然存在一些重要的挑战：（1）LLMs受限于有限的输入长度，无法同时处理大量文档；（2）输出文档序列受到文档输入顺序的影响，导致排名结果不一致；（3）在成本和排名性能之间取得平衡非常具有挑战性。为了解决这些问题，我们引入了一种新的文档排名方法，称为TourRank，受到锦标赛机制的启发。该方法通过智能分组缓解了LLMs受限于有限输入长度的影响，而类似锦标赛的积分系统确保了强大的排名，减轻了文档输入顺序的影响。我们在TREC DL数据集和BEIR基准测试上使用不同的LLMs测试了TourRank。实验结果表明，TourRank以合理的成本取得了最先进的性能。

本文旨在解决LLMs用于文档排序时的限制和挑战，包括输入长度受限、输入顺序影响排序结果以及成本和性能平衡问题。

本文提出了一种新的文档排序方法TourRank，受锦标赛机制启发，通过智能分组减轻LLMs输入长度的影响，而锦标赛式的积分系统则确保了强大的排序能力，并减轻了文档输入顺序的影响。

本文在TREC DL数据集和BEIR基准测试中使用不同的LLMs测试了TourRank的性能，实验结果表明，TourRank在合理的成本下实现了最先进的性能。本文的亮点包括创新的排序方法和实验结果的可复现性。

最近的相关研究包括使用LLMs进行文档排序的其他方法，如使用多个LLMs进行排序和使用转换器进行排序。相关论文包括“Multi-Stage Retrieval with Pretrained Models for Long Document Ranking”和“DocTTTTTquery: A Neural Model for Document Ranking with Tree Structures”。