【论文标题】Universal Weighting Metric Learning for Cross-Modal Matching 【作者团队】Jiwei Wei, Xing Xu*, Yang Yang, Yanli Ji, Zheng Wang, Heng Tao Shen 【发表时间】2020/10/08 【论文链接】https://arxiv.org/pdf/2010.03403.pdf 【代码链接】https://github.com/wayne980/PolyLoss

【推荐理由】本文来自电子科技大学团队，目前已经被CVPR2020接收。文章提出了一种通用的加权度量学习框架，用于解决多源异构数据的跨模态匹配问题。

跨模态匹配已成为视觉和语言领域一个重要的研究方向，学习一个合适的策略以对信息对进行采样和加权对于跨模态匹配的性能至关重要。然而当前大多数的度量方法都是面向单模态匹配，并不适用于多源异构数据进行跨模态的匹配。为了解决这个问题，作者提出了一种普适的加权度量学习框架用于跨模态匹配，同时该框架也是分析各种损失函数可解释性的一种工具。此外，本文在通用加权框架下引入了一个新的多项式损失，该损失分别定义了正负信息对的权重函数。最后在两个图像-文本匹配基准和两个视频-文本匹配基准上进行了实验，实验结果验证了该方法的有效性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除