Robust Pseudo-label Learning with Neighbor Relation for Unsupervised Visible-Infrared Person Re-Identification

本文研究了无监督可见光红外人员再识别（USVI-ReID）问题，该问题旨在匹配可见光和红外模态下的行人图像，且不需要任何注释。最近，基于聚类的伪标签方法成为USVI-ReID领域的主流方法，但伪标签中的固有噪声是一个重要的障碍。大多数现有方法主要集中在保护模型免受噪声的有害影响，而忽略了通常与困难样本相关联的嘈杂伪标签的校准，这将影响模型的稳健性。为解决这个问题，我们设计了一个Robust Pseudo-label Learning with Neighbor Relation (RPNR)框架来处理USVI-ReID问题。具体来说，我们首先引入了一个简单而有效的Noisy Pseudo-label Calibration模块来校准嘈杂的伪标签。由于类内变化巨大，嘈杂伪标签很难完全校准。因此，我们引入了Neighbor Relation Learning模块，通过建模所有样本之间的潜在交互来减少类内变化。随后，我们设计了一个Optimal Transport Prototype Matching模块，以建立可靠的跨模态对应关系。在此基础上，我们设计了一个Memory Hybrid Learning模块，以共同学习模态特定和模态不变的信息。在SYSU-MM01和RegDB两个广泛认可的基准测试上进行的综合实验表明，RPNR优于当前最先进的GUR，平均Rank-1提高了10.3％。源代码即将发布。

本论文旨在解决无监督可见-红外人员再识别问题，即如何在没有注释的情况下，跨可见光和红外模态匹配行人图像。

论文提出了一个Robust Pseudo-label Learning with Neighbor Relation (RPNR)框架，通过噪声伪标签校准、邻居关系学习、最优传输原型匹配和记忆混合学习等模块来解决该问题。

论文在SYSU-MM01和RegDB两个广泛认可的基准测试上进行了全面的实验，证明了RPNR相对于当前最先进的GUR的平均Rank-1改进为10.3%。

最近的相关研究包括Clustered Pseudo-Labeling for Unsupervised Person Re-Identification Across Domains和Unsupervised Cross-Modality Person Re-Identification: A Comprehensive Study等。