YYDS: Visible-Infrared Person Re-Identification with Coarse Descriptions

可见光红外人员再识别（VI-ReID）由于存在相当大的跨模态差异而具有挑战性。现有研究主要集中在学习模态不变特征的同时抑制模态特定特征。然而，仅依靠红外样本来检索可见光图像是一个极端的问题，因为缺乏颜色信息。为此，我们提出了Refer-VI-ReID设置，旨在通过匹配来自红外图像和粗略语言描述（例如，“穿红色上衣和黑色裤子的男人”）的目标可见图像来补充缺失的颜色信息。为了解决这个任务，我们设计了一个名为YYDS的Y-Y形分解结构，用于分解和聚合目标的纹理和颜色特征。具体而言，首先提出了文本IoU正则化策略来促进分解训练，然后提出了一个联合关系模块来推断聚合。此外，还研究了k-相互排名算法的跨模态版本，称为CMKR，其中探讨了三种邻居搜索策略和一种局部查询扩展方法来缓解近邻的模态偏差问题。我们使用我们手动注释的描述在SYSU-MM01、RegDB和LLCM数据集上进行实验。YYDS和CMKR在所有三个数据集上都取得了显着的改进，超越了SOTA方法。代码可在https://github.com/dyhBUPT/YYDS上获得。

本论文旨在解决可见-红外人物再识别（VI-ReID）中的跨模态差异问题，提出了一种基于文本描述的可见图像再识别方法Refer-VI-ReID。

YYDS结构用于分解和聚合目标的纹理和颜色特征，text-IoU正则化策略用于辅助分解训练，联合关系模块用于推断聚合，CMKR算法用于解决近邻的模态偏差问题。

实验结果表明，YYDS和CMKR方法在SYSU-MM01、RegDB和LLCM数据集上都取得了显著的改进，开源代码可用。

最近的相关研究包括：1）Cross-Modal Re-Identification: A Survey，2）Visible Thermal Person Re-Identification via Dual-Constrained Top-Ranking，3）Cross-Modal Deep Variational Hand Pose Estimation。