RankingGPT: Empowering Large Language Models in Text Ranking with Progressive Enhancement

文本排名是各种信息检索应用中的关键任务，而最近自然语言处理领域中大型语言模型（LLMs）的成功引起了人们对它们在文本排名中的应用的兴趣。这些方法主要涉及将查询和候选文档组合起来，利用提示学习来确定查询-文档相关性，使用LLM的输出概率来预测特定标记或直接生成候选文档的排名列表。尽管这些方法已经显示出了很大的潜力，但是LLMs的训练目标通常围绕下一个标记的预测，与评估查询-文档相关性的目标之间存在明显的差异。为了弥补这一差距并充分利用LLM在文本排名任务中的潜力，我们提出了一种渐进式多阶段训练策略。首先，我们引入了一个大规模的弱监督数据集，以使LLMs能够在不改变其原始训练目标的情况下预测相关标记。随后，我们采用监督训练进一步增强LLM的排名能力。我们在多个基准测试中的实验结果表明，与先前的竞争方法相比，我们提出的方法在域内和域外场景中都表现出了优异的性能。

论文旨在解决文本排序中的问题，并探索将大型语言模型应用于文本排序的可行性。该论文提出了一个新的训练策略，以充分利用LLM在文本排序任务中的潜力。

论文提出了一种渐进式多阶段训练策略。首先，引入了一个大规模的弱监督数据集，以使LLM能够在不改变其原始训练目标的情况下预测相关令牌。接着，进一步采用有监督的训练来提高LLM的排序能力。

论文的亮点在于提出了一个新的训练策略，以充分利用LLM在文本排序任务中的潜力。实验结果表明，该方法在多个基准测试中的性能均优于以前的竞争方法，无论是在领域内还是领域外的情况下。此外，论文还引入了一个大规模的弱监督数据集，这对于其他文本排序任务的研究也具有参考意义。

最近在这个领域中，还有一些相关的研究。例如，一些研究探索了将LLM应用于文本排序任务的不同方法，如BERTRank和UniLMRank。还有一些研究探索了使用弱监督数据来提高LLM在不同任务中的性能，如XL-WiC和XGLUE。