WARP: An Efficient Engine for Multi-Vector Retrieval

我们研究了多向量检索方法（如 ColBERT 及其最新变体 XTR）的效率。我们引入了 WARP，这是一种通过三项关键创新大幅提高基于 XTR 的 ColBERT 检索器效率的检索引擎：(1) WARP$_\text{SELECT}$ 用于动态相似度插补，(2) 隐式解压缩以绕过昂贵的向量重建过程，以及 (3) 两阶段缩减过程以实现高效的评分。结合高度优化的 C++ 内核和专用推理运行时，WARP 将端到端延迟相比 XTR 的参考实现减少了 41 倍，从而实现了相对于官方 ColBERT 实现中的 PLAID 引擎 3 倍的速度提升。 我们研究了多向量检索方法（如 ColBERT 及其最新变体 XTR）的效率。我们引入了 WARP，这是一种通过三项关键创新大幅提高基于 XTR 的 ColBERT 检索器效率的检索引擎：(1) WARP$_\text{SELECT}$ 用于动态相似度插补，(2) 检索期间的隐式解压缩，以及 (3) 两阶段缩减过程以实现高效的评分。得益于高度优化的 C++ 内核和专用推理运行时的采用，WARP 相比 XTR 的参考实现将端到端查询延迟减少了 41 倍。并且在此基础上，它实现了相对于官方 ColBERTv2 PLAID 引擎 3 倍的速度提升，同时保持了检索质量。

该论文旨在解决多矢量检索方法（如ColBERT及其变体XTR）在实际应用中的效率问题。具体来说，研究者们希望减少这些模型在处理查询时的延迟时间，以提高其在大规模信息检索任务中的实用性。这是一个具有挑战性的问题，因为现有方法虽然在准确性上有很好的表现，但在效率方面仍有很大的改进空间。

论文提出了WARP检索引擎，通过三项关键技术革新来大幅提升XTR-based ColBERT检索器的效率：(1) WARP$_\text{SELECT}$用于动态相似度插值；(2) 隐式解压缩以避免昂贵的向量重建成本；(3) 两阶段简化过程以实现高效的评分。此外，结合高度优化的C++内核和专用推理运行时，进一步提高了系统的性能。这种方案不仅解决了效率问题，而且保持了原有的检索质量。

论文展示了WARP相比XTR参考实现减少了41倍的端到端查询延迟，并且比官方ColBERTv2 PLAID引擎快3倍。实验设计严谨，使用了真实世界的数据集进行测试，确保结果的有效性和可靠性。此外，作者开源了部分代码，这为后续研究提供了宝贵的资源。未来的研究可以进一步探索如何将这些技术应用于其他类型的检索系统或更大规模的数据集上。

近年来，在提升信息检索效率方面有许多相关工作，例如： - "Efficient and Effective Retrieval with Clustered Vectors" 提出了一种基于聚类的方法来加速检索。 - "Accelerating Dense Retrieval with Sparse Indexes" 探讨了稀疏索引在密集向量检索中的应用。 - "Optimizing Transformer-based Models for Efficient Inference" 研究了如何优化基于Transformer的模型以提高推理速度。 这些研究与本论文的目标一致，即在不牺牲准确性的前提下，显著提高检索系统的效率。