How Does Generative Retrieval Scale to Millions of Passages?

解决问题：该论文试图研究生成式检索在处理大规模文档集合时的表现，并探讨如何解决这一挑战。此前，大多数生成式检索的研究都是在文档集合规模较小的情况下进行的。

关键思路：该论文通过实验研究，发现在处理大规模文档集合时，使用合成查询作为文档表示是非常重要的。同时，已有的架构修改方法在考虑计算成本时并不有效，而简单地增加模型参数数量并不能显著提高检索性能。相比于当前领域的研究，该论文的关键思路在于从大规模文档集合的角度出发，探索生成式检索的局限性和挑战，并提出了一些解决方案。

其他亮点：该论文的实验设计非常严谨，使用了包括MS MARCO在内的多个数据集，模型参数数量达到了11B，实验结果具有较高的可信度。此外，该论文指出生成式检索在处理大规模文档集合时的挑战，为后续研究提供了方向和借鉴。

关于作者：该论文的主要作者分别来自微软和华盛顿大学，他们在信息检索、自然语言处理、机器学习等领域都有较为丰富的研究经验。其中，Donald Metzler曾在Google担任高级研究员，主要研究方向为信息检索和自然语言处理。

相关研究：与该论文相关的其他研究包括：“Differentiable Search Index”（作者来自华盛顿大学和微软）、“Dense Passage Retrieval for Open-Domain Question Answering”（作者来自Facebook AI Research）、“REALM: Retrieval-Augmented Language Model Pre-Training”（作者来自Facebook AI Research和纽约大学）等。

论文摘要：这篇文章探讨了生成式检索技术在处理数百万篇文档时的可扩展性。生成式检索技术是一种新兴的检索范式，它将传统的信息检索问题转化为序列到序列建模任务，不再需要外部索引，并将整个文档语料库编码到一个Transformer中。虽然已经提出了许多不同的方法来提高生成式检索的效果，但它们只在大小为100k的文档语料库上进行了评估。本文是第一篇对各种语料库规模下的生成式检索技术进行实证研究的论文，最终扩展到包含8.8M个段落的整个MS MARCO段落排名任务，并评估了高达11B参数的模型大小。我们发现，在处理数百万个段落时，使用合成查询作为文档表示在索引过程中非常重要，现有的架构修改在考虑计算成本时并不有效，而简单地扩展模型参数对检索性能的提升存在局限性。虽然我们发现在小型语料库上，生成式检索技术与最先进的双编码器技术相竞争，但扩展到处理数百万个段落仍然是一个重要且尚未解决的挑战。我们相信这些发现对于澄清当前生成式检索技术的现状、突出其独特的挑战并激发新的研究方向将是有价值的。

内容中包含的图片若涉及版权问题，请及时与我们联系删除