视频检索 | 在视频检索中使用语义相似性

【论文标题】On Semantic Similarity in Video Retrieval 【作者团队】Michael Wray，Hazel Doughty，Dima Damen 【发表时间】2021/03/18 【机构】布里斯托大学 【论文链接】https://arxiv.org/pdf/2103.10095.pdf 【推荐理由】 本文出自布里斯托大学，目前已被 CVPR 2021 接收。作者指出，目前基于单个实例假设的视频检索评估方法往往不能衡量视频检索模型的性能，并提出了一种基于视频语义相似度的检索方法，重新修改了对检索结果的排名机制。

目前，有关视频检索的研究工作大多数都是在一种基于实例的假设之上来发现其评估结果，即只有一个图像的描述与查询视频相关，反之亦然。 在本文中，作者证明上述假设会导致对性能的比较往往并不能说明模型检索能力。作者建议人们转而使用语义相似度视频检索，这种方法具有以下特性： （1）多个视频/字幕可以被认为是同等相关的，它们的相对排名不影响方法报告的性能。 （2）根据与查询的相似度对检索到的视频/图像描述进行排名。 本文作者提出了多种任务在不需要额外标注的前提下，估计大规模检索数据集的语义相似性。此外，作者在三个常用的视频检索数据集（MSR-VTT, YouCook2和EPIC-KITCHENS）上对本文提出的方法进行了评估。

内容中包含的图片若涉及版权问题，请及时与我们联系删除