Listwise Generative Retrieval Models via a Sequential Learning Process

最近，提出了一种新颖的生成检索（GR）范式，其中学习单个序列到序列模型，直接生成给定查询的相关文档标识符（docids）列表。现有的GR模型通常采用最大似然估计（MLE）进行优化：这涉及最大化给定输入查询的单个相关docid的可能性，假定每个docid的可能性独立于列表中的其他docid。本文将这些模型称为点对点方法。虽然点对点方法在GR的上下文中被证明是有效的，但由于它忽略了排名涉及对列表进行预测的基本原则，因此被认为是次优的。在本文中，我们通过引入一种替代的列表方法来解决这个限制，该方法使GR模型能够在docid列表级别上优化相关性。具体而言，我们将排名docid列表的生成视为序列学习过程：在每个步骤中，我们学习一组参数子集，以最大化给定（前面的）前i-1个docids的情况下第i个docid的生成可能性。为了形式化序列学习过程，我们设计了GR的位置条件概率。为了减轻束搜索对推理期间生成质量的潜在影响，我们根据相关等级对模型生成的docids的生成可能性进行相关性校准。我们在代表性的二元和多级相关性数据集上进行了广泛的实验。我们的实证结果表明，我们的方法在检索性能方面优于现有的GR基线。

本文旨在解决生成式检索中点对点方法的局限性，提出一种基于列表的方法，使得模型能够优化文档列表的相关性。

本文提出一种基于列表的方法，将生成文档列表视为序列学习过程，并设计了位置条件概率进行建模，从而使得模型能够优化文档列表的相关性。

本文的方法在二元和多级相关性数据集上进行了广泛实验，实验结果表明该方法在检索性能方面优于目前的生成式检索基线。此外，本文还对模型生成的文档进行了相关性校准，以提高生成质量。

最近的相关研究包括《Neural Ranking Models with Weak Supervision》、《Deep Relevance Ranking using Enhanced Document-Query Interactions》等。