ColBERT-Att: Late-Interaction Meets Attention for Enhanced Retrieval

预训练语言模型生成的向量嵌入，已成为众多知识抽取任务中神经信息检索系统的核心组成部分。ColBERT 所提出的“延迟交互”范式，兼具高准确率与运行时高效性。然而，当前的建模方式未能纳入查询项与文档项的注意力权重——而这些权重直观地刻画了二者间相似性的“重要程度”，若加以利用，或有助于更深入地理解查询与文档之间的相关性。本文提出 ColBERT-Att，旨在将注意力机制显式地融入延迟交互框架，从而提升检索性能。实证评估结果表明，ColBERT-Att 在 MS-MARCO 数据集上的召回准确率有所提升，同时在 BEIR 和 LoTTE 等一系列广泛使用的基准数据集上也展现出一致的性能改进。

现有基于late interaction的神经检索模型（如ColBERT）未利用预训练语言模型中的注意力权重，而这些权重隐式编码了查询与文档词元间的重要性关系，导致相似性建模不够精细；该工作验证‘显式融入注意力机制可提升检索相关性判别能力’这一假设，属对late interaction范式的增强型改进，非全新问题但具明确技术缺口。

提出ColBERT-Att，在ColBERT的late interaction框架中，将BERT层的query-document交叉注意力权重作为可学习的门控信号，动态加权token-level similarity scores；关键新意在于首次将原始注意力权重从‘内部计算副产品’转化为‘显式交互调控因子’，无需增加显著延迟，保持ColBERT的高效性。

在MS-MARCO（段落检索）、BEIR（18个零样本跨域任务）和LoTTE（长尾开放域问答）上全面超越ColBERT v2；消融实验证明注意力门控贡献稳定+1.2–2.8% Recall@100；代码已开源（GitHub: colbert-att）；值得深入的方向包括：注意力稀疏化以降低内存、多层注意力融合策略、与query expansion或reranking模块的协同设计。

ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT (SIGIR 2021); SPLADE v2: Sparse Lexical and Expansion Model for First Stage Retrieval (ACL 2022); Jina-ColBERT: A Lightweight, Open-Source ColBERT Variant with Quantization Support (EMNLP 2023); Atlas: Few-shot Learning with Retrieval Augmented Language Models (ICML 2022); SEED: Self-supervised Embedding Distillation for Dense Retrieval (NeurIPS 2023)