RGB-T Object Detection via Group Shuffled Multi-receptive Attention and Multi-modal Supervision

多光谱物体检测利用可见光（RGB）和热红外（T）模态，因其在各种天气和光照条件下的稳健性而受到广泛关注。然而，有效利用RGB-T模态之间的互补性并保持效率仍然是一个关键挑战。本文提出了一个非常简单的组随机多感受野注意力（GSMA）模块，用于提取和组合多尺度RGB和热特征。然后，提取的多模态特征直接与多级路径聚合颈部集成，显著提高了融合效果和效率。同时，多模态物体检测通常采用两种模态的联合注释。这种监督不足且不公平，因为在一个模态中观察到的物体可能在另一个模态中看不到。为解决这个问题，提出了多模态监督（MS）来充分监督RGB-T物体检测。在两个具有挑战性的基准测试KAIST和DroneVehicle上进行的全面实验表明，所提出的模型在保持竞争力的同时实现了最先进的准确性。

多光谱物体检测在不同天气和光照条件下表现出强大的性能，但如何有效地利用RGB和热红外模态之间的互补性仍然是一个关键的挑战。

论文提出了一种非常简单的Group Shuffled Multi-receptive Attention (GSMA)模块，用于提取和组合多尺度的RGB和热红外特征。然后，提取的多模态特征直接与多级路径聚合neck集成，从而显著提高了融合效果和效率。

论文提出了Multi-modal Supervision (MS)来充分监督RGB-T物体检测。在KAIST和DroneVehicle两个具有挑战性的基准测试上进行的全面实验表明，该模型在保持竞争力的同时实现了最先进的准确性。

最近的相关研究包括：'Multi-modal object detection using dynamic fusion', 'RGB-T Object Detection with Multi-Level Attention'等。