An Analysis on Matching Mechanisms and Token Pruning for Late-interaction Models

随着预训练语言模型的发展，密集检索模型已成为传统检索模型的有希望的替代品，传统检索模型依赖于精确匹配和稀疏的词袋表示。与大多数密集检索模型使用双编码器将每个查询或文档编码为密集向量不同，最近提出的后交互多向量模型（即ColBERT和COIL）通过使用所有令牌嵌入来表示文档和查询，并使用最大值之和操作建模它们的相关性，实现了最先进的检索效果。然而，这些细粒度表示可能会对实际搜索系统造成不可接受的存储开销。在本研究中，我们系统地分析了这些后交互模型的匹配机制，并展示了最大值之和操作严重依赖于文档中的共现信号和一些重要单词。基于这些发现，我们提出了几种简单的文档修剪方法来减少存储开销，并比较了不同后交互模型上不同修剪方法的有效性。我们还利用查询修剪方法进一步降低检索延迟。我们在领域内和领域外数据集上进行了广泛的实验，并展示了一些使用的修剪方法可以显著提高这些后交互模型的效率，而不会对它们的检索效果造成实质性的损害。

论文旨在解决稠密检索模型的存储开销问题，同时保持检索效果不受影响。

通过分析ColBERT和COIL模型的匹配机制，论文提出了几种简单的文档剪枝方法来减少存储开销，同时使用查询剪枝方法来进一步减少检索延迟。这些方法可以显著提高稠密检索模型的效率而不会对检索效果造成实质性损失。

论文使用了多个数据集进行了广泛的实验，并展示了这些剪枝方法的有效性。此外，论文还发现了sum-of-max操作在匹配机制中的重要性，以及一些单词在文档中的重要性。

最近的相关研究包括使用预训练语言模型的稠密检索模型，以及使用双编码器对查询或文档进行编码的稠密检索模型。