论文标题:CM-NAS: Rethinking Cross-Modality Neural Architectures for Visible-Infrared Person Re-Identification 论文链接:https://arxiv.org/abs/2101.08467 作者单位:中科院(赫然团队), 国科大, 京东(梅涛等) 表现SOTA!性能优于HAT 、DDAG和MACE等网络,代码即将开源!

可见光-红外行人重识别(VI-ReID)旨在匹配跨模态的行人图像,突破了黑暗环境中单模式人ReID的局限性。为了减轻大模态差异的影响,现有工作手动设计了各种两流体系结构,以分别学习特定于模态和模态可共享的表示形式。但是,这样的手动设计例程在很大程度上取决于大量的实验和经验实践,这既费时又费力。在本文中,我们系统地研究了手动设计的体系结构,并确定适当地拆分批归一化(BN)层以学习特定于模态的表示形式将极大地促进跨模态匹配。基于此观察结果,基本目标是为每个BN层找到最佳的划分方案。为此,我们提出了一种新颖的方法,称为跨模态神经体系结构搜索(CM-NAS)。它由面向BN的搜索空间组成,在其中可以根据交叉模式任务来实现标准优化。此外,为了更好地指导搜索过程,我们进一步制定了一个新的基于相关一致性的特定于类的最大平均差异(C3MMD)损失。除了模态差异外,它还涉及两种模态中以前被忽略的相似性相关性。利用这些优势,我们的方法在广泛的实验中胜过了最新技术,在SYSU-MM01上将Rank-1 / mAP提高了6.70%/ 6.13%,在RegDB上提高了12.17%/ 11.23%。

内容中包含的图片若涉及版权问题,请及时与我们联系删除