LLM-RankFusion: Mitigating Intrinsic Inconsistency in LLM-based Ranking

通过使用大型语言模型（LLM）提示对段落进行排名可以在现代信息检索（IR）系统中实现有希望的性能。一种常见的方法是通过提示LLM进行成对比较来对排名列表进行排序。然而，基于排序的方法需要进行一致的比较才能正确地排序段落，我们发现LLM经常违反这一点。我们确定了LLM基于成对比较的两种内在不一致性：顺序不一致性，导致在切换段落顺序时出现冲突的结果；以及传递不一致性，导致在所有偏好对中出现非传递三元组。在本文中，我们提出了LLM-RankFusion，一种基于LLM的排名框架，可以减轻这些不一致性并生成一个强大的排名列表。LLM-RankFusion使用上下文学习（ICL）来展示无序比较和校准来估计两个段落之间的潜在偏好概率，从而减轻了顺序不一致性。然后，我们通过聚合多个排名器的排名结果来解决传递不一致性。在我们的实验中，我们经验证明LLM-RankFusion可以显著减少不一致的成对比较结果，并通过使最终排名列表更加强大来提高排名质量。

解决问题：本论文旨在解决基于大型语言模型（LLM）的排序方法中存在的一致性问题，提出一种新的方法以生成更稳健的排序列表。

关键思路：论文提出了一种名为LLM-RankFusion的框架，该框架通过上下文学习（ICL）和校准来解决顺序不一致性问题，并通过聚合多个排名器的排名结果来解决传递不一致性问题。

其他亮点：实验结果表明，LLM-RankFusion可以显著降低不一致的成对比较结果，并通过使最终排序列表更加稳健来提高排序质量。

相关研究：在这个领域中，一些相关的研究包括“Neural Ranking Models with Weak Supervision”和“BERT for Passage Ranking”。