随着短视频内容社区的兴起，多媒体内容的创作门槛变低，UGC 内容成为主流，视频文本检索任务面临更加复杂和困难的挑战。本文针对视频文本检索任务提出层次化对比学习的跨模态检索思路，实现了更加高效且精准的视频文本检索方法，目前该论文已经被 ICCV2021 接收。

论文链接：https://arxiv.org/abs/2103.15049

本文提出的 HiT（ Hierarchical Transformer with Momentum Contrast for Video-Text Retrieval）模型采用了Dual-stream 的 Transformer 框架，以满足大规模视频文本检索的需求。实验表明 HiT 在多个视频-文本检索数据集上取得 SOTA 的效果。

HiT 模型主要有两个创新点：

  • 提出层次跨模态对比匹配 （Hierarchical Cross-modal Contrast Matching，HCM）。Transformer 的底层和高层侧重编码不同层次的信息，以文本输入和 BERT模型为例，底层 Transformer 侧重于编码相对简单的基本语法信息，而高层 Transformer 则侧重于编码相对复杂的高级语义信息。因此使用 HCM 进行多次对比匹配，可以利用 Transformer 这一层次特性，从而得到更好的视频文本检索性能；

  • 引入 MoCo 的动量更新机制到跨模态对比匹配中，提出动量跨模态对比 MCC。MCC 为文本信息和视觉信息分别维护了一个容量很大并且表征一致的负样本队列，从而克服端到端训练方法受到显存容量的限制，只能在一个相对较小的 batch 内寻找负样本这一缺点，利用更多的负例，从而得到更好的视频和文本表征。

HiT 模型整体流程如上图所示。输入视频经过视频编码器，输入文本经过文本编码器，然后在 2 种网络层级（特征底层、语义高层）上分别使用 2 种检索方式（文本检索视频、视频检索文本）共完成 4 次跨模态对比匹配。其中编码器都是基于 Transformer 结构，4 次跨模态对比匹配均使用上文提到的 MCC，构建了 4 个负样本队列和对应基于动量更新的 Key 编码器。

内容中包含的图片若涉及版权问题，请及时与我们联系删除