DemoRank: Selecting Effective Demonstrations for Large Language Models in Ranking Task

最近，越来越多的研究关注于将大型语言模型（LLMs）应用于零样本段落排序。然而，很少有研究探讨如何选择适当的上下文演示来进行段落排序任务，这是本文的重点。以前的研究主要应用演示检索器来检索演示，并使用前$k$个演示进行上下文学习（ICL）。虽然有效，但这种方法忽略了演示之间的依赖关系，导致在段落排序任务的少样本ICL中表现不佳。在本文中，我们将演示选择定义为“检索-重新排序”过程，并引入了DemoRank框架。在这个框架中，我们首先使用LLM反馈来训练演示检索器，并构建一种新的依赖关注的训练样本来训练演示重新排序器，以提高少样本ICL的效果。这种训练样本的构建不仅考虑了演示之间的依赖关系，而且还以高效的方式进行。广泛的实验证明了DemoRank在领域内场景中的有效性以及对领域外场景的强大泛化能力。我们的代码可在\url{https://github.com/8421BCD/DemoRank}上获得。

本文试图解决如何选择适当的上下文演示文本以提高大型语言模型在零-shot情况下的段落排名的问题。

本文提出了一个新的框架DemoRank，将演示文本的选择作为一个retrieve-then-rerank的过程，并构建了一个考虑演示文本依赖关系的训练样本，以提高few-shot in-context learning的性能。

本文的实验结果表明，DemoRank在领域内和领域外的情况下都具有很好的效果。此外，作者还提供了开源代码。

在这个领域中，最近的相关研究包括：1.《Zero-shot Passage Retrieval with Generative Language Models》2.《Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering》