Skeleton-Guided Spatial-Temporal Feature Learning for Video-Based Visible-Infrared Person Re-Identification

基于视频的可见光-红外行人重识别（VVI-ReID）由于显著的模态特征差异而具有挑战性。视频中的时空信息至关重要，但其准确性通常受到视频质量低下和遮挡等问题的影响。现有方法主要集中在减少模态差异上，但在改善时空特征方面，尤其是在红外视频中，关注较少。为了解决这一问题，我们提出了一种新颖的骨架引导时空特征学习（STAR）方法用于VVI-ReID。通过使用对图像质量差和遮挡等问题具有鲁棒性的骨架信息，STAR提高了两种模态视频的时空特征准确性。具体来说，STAR采用了两个层次的骨架引导策略：帧级和序列级。在帧级，使用鲁棒的结构化骨架信息来优化单个帧的视觉特征。在序列级，我们设计了一种基于骨架关键点图的特征聚合机制，该机制学习不同身体部位对时空特征的贡献，进一步增强了全局特征的准确性。实验结果表明，STAR在基准数据集上的表现优于现有最先进方法。代码将很快开源。

该论文旨在解决视频可见光-红外行人重识别（VVI-ReID）中的显著模态特征差异问题，特别是在处理低质量和遮挡情况下的视频时，空间-时间信息的准确性受到严重影响。这是一个具有挑战性的问题，现有方法主要集中在减少模态差异上，但对改进空间-时间特征的关注有限。

论文提出了一种基于骨架的空间-时间特征学习（STAR）方法。通过利用骨架信息，该方法在两个层次上引导特征学习：帧级和序列级。帧级策略使用结构化的骨架信息来细化单个帧的视觉特征；序列级策略则设计了一种基于骨架关键点图的特征聚合机制，以学习不同身体部位对空间-时间特征的贡献，从而进一步提高全局特征的准确性。这一方法在提高空间-时间特征的鲁棒性方面具有创新性。

1. 提出了STAR方法，结合骨架信息来改善空间-时间特征的学习。 2. 在帧级和序列级分别设计了骨架引导策略，提高了特征的准确性和鲁棒性。 3. 实验在多个基准数据集上进行了验证，结果显示STAR方法优于现有的最新方法。 4. 论文计划开源代码，便于其他研究人员复现和扩展研究。 5. 值得进一步研究的方向包括如何在更多复杂场景下应用STAR方法，以及如何进一步优化骨架信息的提取和利用。

近期在VVI-ReID领域的一些相关研究包括： 1. "Cross-Modality Person Re-Identification via Dual Attention and Feature Distillation" - 该研究通过双注意力机制和特征蒸馏来减少模态差异。 2. "Multi-Modal Fusion Network for Visible-Infrared Person Re-Identification" - 该研究提出了一种多模态融合网络，以提高跨模态行人重识别的性能。 3. "Adversarial Learning for Cross-Modality Person Re-Identification" - 该研究利用对抗学习方法来增强模型的泛化能力。 4. "Temporal-Aware Feature Aggregation for Video-Based Person Re-Identification" - 该研究关注于视频中的时间信息，提出了时间感知特征聚合方法。