Large Language Models as Foundations for Next-Gen Dense Retrieval: A Comprehensive Empirical Assessment

预训练的语言模型，如BERT和T5，是密集检索中至关重要的骨干编码器。然而，这些模型通常表现出有限的泛化能力，并面临着提高领域准确性的挑战。最近的研究探索了使用大型语言模型（LLM）作为检索器，在各种任务中实现了SOTA性能。尽管取得了这些进展，但LLM与传统检索器的具体优势以及不同LLM配置（如参数大小、预训练持续时间和对齐过程）对检索任务的影响仍不清楚。在这项工作中，我们对广泛的检索任务进行了全面的实证研究，包括领域内准确性、数据效率、零-shot泛化、长时间检索、基于指令的检索和多任务学习。我们评估了超过15种不同的骨干LLM和非LLM。我们的研究结果表明，更大的模型和广泛的预训练一致地提高了领域内准确性和数据效率。此外，更大的模型在零-shot泛化、长时间检索、基于指令的检索和多任务学习方面展示了显著的潜力。这些结果强调了LLM作为密集检索中多才多艺和有效的骨干编码器的优势，为未来研究和发展提供了有价值的见解。

本文旨在探讨大型语言模型（LLMs）在稠密检索中的优势和影响因素，以及与传统检索器的区别。具体而言，研究重点在于LLMs在领域内准确性、数据效率、零样本泛化、长文本检索、基于指令的检索和多任务学习等方面的表现。

本文通过对15种不同的LLMs和非LLMs进行全面的实证研究，发现较大的模型和更长时间的预训练可以提高领域内准确性和数据效率，并且在零样本泛化、长文本检索、基于指令的检索和多任务学习方面表现出显著的潜力。

本文的实验设计全面，使用了多个数据集，并开源了代码。另外，本文的研究结果对于未来的研究和发展具有重要意义。

近期的相关研究包括使用BERT和T5等预训练语言模型作为稠密检索的骨干编码器，以及使用LLMs作为检索器实现各种任务的SOTA表现。