MuGI: Enhancing Information Retrieval through Multi-Text Generation Intergration with Large Language Models

大型语言模型（LLMs）已经成为语言技术中的关键力量。它们强大的推理能力和广泛的知识库使得它们在自然语言处理领域的各个方面，包括信息检索（IR），都具有出色的零-shot泛化能力。在本文中，我们对LLMs生成的文档在IR中的实用性进行了深入研究。我们引入了一个简单但有效的框架，Multi-Text Generation Integration（MuGI），来增强现有的IR方法。具体而言，我们提示LLMs生成多个伪参考文献，并将其与查询集成以进行检索。无需训练的MuGI模型超越了现有的查询扩展策略，在稀疏检索方面树立了新的标准。它超越了像ANCE和DPR这样的监督对照组，在TREC DL数据集上的BM25有显著的18%提升，在BEIR上有7.5%的增长。通过MuGI，我们建立了一个快速和高保真度的重新排名流水线。这使得一个相对较小的110M参数的检索器在领域内评估中超过了更大的3B模型的性能，同时也弥合了超出分布范围的差距。我们在https://github.com/lezhang7/Retrieval_MuGI上发布了我们的代码和所有生成的参考文献。

本文旨在探讨使用大型语言模型（LLMs）生成的文档在信息检索中的实用性。通过提出一个简单而有效的框架MuGI，将LLMs生成的多个伪参考文献与查询集成，以增强现有的信息检索方法。

本文提出了一种新的信息检索方法，即使用LLMs生成多个伪参考文献，并将其与查询集成，以提高检索效果。MuGI模型不需要进行训练，可以超越现有的查询扩展策略，提高稀疏检索的效果。

本文提出的MuGI模型在TREC DL数据集上实现了18%以上的BM25性能提升，在BEIR上实现了7.5%的性能提升。通过MuGI，可以建立快速而高保真度的重新排序流程。同时，本文开源了代码和所有生成的参考文献。

最近的相关研究包括：ANCE和DPR等监督型对比方法。