Leveraging LLMs for Unsupervised Dense Retriever Ranking

本文介绍了一种新颖的无监督技术，利用大型语言模型（LLMs）确定特定测试（目标）语料库最适合的密集检索器。选择合适的密集检索器对于许多使用这些检索器的IR应用程序至关重要，这些检索器是在公共数据集上训练的，用于对新的私有目标语料库进行编码或搜索。当应用于与原始训练集不同领域或任务的目标语料库时，密集检索器的有效性可能会显着降低。当目标语料库未标记时，例如在零-shot情况下，直接评估模型在目标语料库上的有效性是不可行的。因此，在领域转移的情况下，无监督选择最佳预训练密集检索器成为一个关键挑战。现有的排名密集检索器的方法在解决这些领域转移场景方面存在不足。为了解决这个问题，我们的方法利用LLMs分析目标语料库的子集，创建伪相关查询、标签和参考列表。这允许基于这些伪相关信号对密集检索器进行排名。显著的是，这种策略是第一个完全依赖目标语料库数据的方法，消除了训练数据和测试标签的必要性。我们通过编制一个全面的最新密集检索器池并将我们的方法与传统的密集检索器选择基准进行比较来评估我们的方法的有效性。研究结果表明，我们提出的解决方案在密集检索器的选择和排名方面都超过了现有的基准。

如何在没有标注数据的情况下，从公共数据集中选择最适合特定目标语料库的密集检索器？

利用大型语言模型（LLMs）分析目标语料库的子集，创建伪相关查询、标签和参考列表，以评估不同密集检索器的性能，从而实现无监督选择最优密集检索器。

该方法是第一个完全依赖目标语料库数据的无监督密集检索器选择方法，不需要训练数据和测试标签。实验结果表明，该方法在选择和排名密集检索器方面优于传统方法。

目前还没有太多研究探讨在没有标注数据的情况下，如何选择最适合特定目标语料库的密集检索器。