Mutual Information Guided Optimal Transport for Unsupervised Visible-Infrared Person Re-identification

无监督的可见光红外人员再识别（USVI-ReID）是一项具有挑战性的检索任务，旨在在不使用任何标签信息的情况下检索跨模态的行人图像。在这个任务中，大的跨模态差异使得生成可靠的跨模态标签变得困难，缺乏注释也为学习模态不变特征提供了额外的困难。在本文中，我们首先推导了一种基于模型跨模态输入和输出之间的互信息的无监督VI-ReID优化目标。通过等效推导，我们得到了三个学习原则，即“锐度”（熵最小化）、“公平性”（均匀标签分布）和“适应性”（可靠的跨模态匹配）。在它们的指导下，我们设计了一个循环迭代的训练策略，交替进行模型训练和跨模态匹配。在匹配阶段，我们提出了一种统一先验引导的最优传输分配（“适应性”，“公平性”），以选择匹配的可见光和红外原型。在训练阶段，我们利用这个匹配信息引入了基于原型的对比学习，以最小化内部和跨模态熵（“锐度”）。在基准测试中，我们的方法取得了广泛的实验结果，例如在没有任何注释的情况下，在SYSU-MM01和RegDB上的Rank-1准确率分别达到了60.6％和90.3％，证明了我们方法的有效性。

本论文旨在解决无监督可见红外人物再识别（USVI-ReID）的问题，即如何在没有任何标签信息的情况下检索跨模态的行人图像。

论文提出了一种基于模型的交叉模态输入和输出之间的互信息的优化目标，并提出了三个学习原则：锐度、公平和适应性，以指导循环迭代训练策略。在训练阶段，利用匹配信息引入基于原型的对比学习，以最小化内部和跨模态熵。在匹配阶段，提出了一种统一先验引导的最优运输分配算法来选择匹配的可见和红外原型。

论文在SYSU-MM01和RegDB数据集上进行了广泛的实验，证明了该方法的有效性，无需任何注释即可实现60.6％和90.3％的Rank-1准确度。此外，论文还提供了开源代码。

在这个领域中，最近的相关研究包括：《Learning to Transfer Across Visible and Infrared Tasks》、《Unsupervised Domain Adaptation for Infrared Object Tracking》等。