Efficient Multi-Vector Dense Retrieval Using Bit Vectors

密集检索技术采用预训练的大型语言模型来建立查询和段落的高维表示。这些表示使用高效的相似度度量计算段落相对于查询的相关性。在此基础上，多向量表示显示出改进的效果，但在编码查询和文档时，会导致一阶数量级的内存占用和查询延迟增加。最近，PLAID通过引入基于质心的术语表示来解决了这些问题，以减少多向量系统的内存影响。通过利用质心交互机制，PLAID过滤掉非相关文档，从而降低了后续排名阶段的成本。本文提出了“带位向量的高效多向量密集检索”（EMVB），这是一种用于多向量密集检索的高效查询处理新框架。首先，EMVB使用优化的位向量高效预过滤段落。其次，质心交互的计算是列式的，利用SIMD指令，从而降低其延迟。第三，EMVB利用产品量化（PQ）来减少存储向量表示的内存占用，同时允许快速的后期交互。第四，我们引入了一种按文档过滤术语的方法，进一步提高了最后一步的效率。在MS MARCO和LoTTE上的实验表明，与PLAID相比，EMVB的速度提高了2.8倍，内存占用减少了1.8倍，而检索精度没有损失。

提高多向量密集检索的效率和减少其内存占用。

EMVB是一种新的框架，它使用优化的位向量高效地预过滤段落，利用SIMD指令逐列计算质心交互，使用PQ减少存储向量表示的内存占用，并引入一种每个文档术语过滤方法来进一步提高效率。

实验表明，EMVB相比PLAID可以提高2.8倍的速度，同时将内存占用减少1.8倍，并且没有损失检索准确性。

最近的相关研究包括PLAID和其他基于向量的密集检索方法，如Dense Passage Retrieval和Dense Passage Retrieval with Efficient Passage Encoding。