PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval

利用大型语言模型（LLM）进行零-shot文档排名有两种方法：1）基于提示的重新排名方法，不需要进一步训练，但由于计算成本只适用于重新排名少量候选文档；2）无监督对比训练的密集检索方法，可以从整个语料库中检索相关文档，但需要大量成对文本数据进行对比训练。本文提出了PromptReps，结合了两种方法的优点：无需训练和能够从整个语料库中检索。我们的方法仅需要提示来引导LLM生成查询和文档表示以进行有效的文档检索。具体而言，我们提示LLM使用单个单词来表示给定的文本，然后使用最后一个标记的隐藏状态和与下一个标记预测相关的相应逻辑来构建混合文档检索系统。检索系统利用LLM给出的密集文本嵌入和稀疏的词袋表示。我们进一步探讨了这个核心思想的变化，考虑生成多个单词和依赖于多个嵌入和稀疏分布的表示。我们在MSMARCO、TREC深度学习和BEIR零-shot文档检索数据集上进行的实验评估表明，这种简单的基于提示的LLM检索方法可以实现与使用大量无监督数据训练的最先进LLM嵌入方法相同或更高的检索效果，特别是使用更大的LLM时。

论文旨在提出一种新的零样本文档排名方法，结合了无需训练的基于提示的重新排名方法和能够从整个语料库中检索相关文档的无监督对比训练密集检索方法。

论文提出了PromptReps方法，该方法利用提示来引导大型语言模型生成查询和文档表示，从而实现有效的文档检索。具体而言，该方法使用单个词汇提示，利用最后一个标记的隐藏状态和与下一个标记预测相关的对数来构建混合文档检索系统，同时利用大型语言模型提供的稠密文本嵌入和稀疏词袋表示。

通过在MSMARCO、TREC深度学习和BEIR零样本文档检索数据集上进行实验评估，论文表明PromptReps方法可以实现与使用大量无监督数据训练的最先进的大型语言模型嵌入方法相当或更高的检索效果，特别是使用更大的语言模型时。

最近的相关研究还包括使用大型语言模型进行文档检索的其他方法，如Dense Passage Retrieval和ColBERT。