CFMW: Cross-modality Fusion Mamba for Multispectral Object Detection under Adverse Weather Conditions

交叉模态图像可以整合可见光和红外光谱线索，为物体检测提供更丰富的互补信息。尽管如此，现有的可见光红外物体检测方法在恶劣天气条件下严重降级。这种失败源于可见光图像对环境扰动的敏感性，例如雨、雾和雪等，经常导致检测中的假阴性和假阳性。为了解决这个问题，我们提出了一项新的、具有挑战性的任务，称为恶劣天气条件下的可见光红外物体检测。为了促进这个任务，我们构建了一个新的严重天气可见红外数据集(SWVID)，其中包括各种各样的严重天气场景。此外，我们引入了交叉模态融合曼巴与去除天气影响(CFMW)来增强在恶劣天气条件下的检测精度。由于提出的天气去除扩散模型(WRDM)和交叉模态融合曼巴(CFM)模块，CFMW能够在交叉模态融合中挖掘更多的行人特征的基本信息，因此能够在其他更少见的场景中高效地转移，并且在那些计算能力较低的平台上具有足够的可用性。据我们所知，这是第一项针对交叉模态物体检测的改进，并集成了扩散和曼巴模块，成功地扩展了这种类型模型的实际应用，具有更高的准确性和更先进的架构。在公认的和自行创建的数据集上进行的广泛实验明确证明了我们的CFMW实现了最先进的检测性能，超越了现有的基准。数据集和源代码将在https://github.com/lhy-zjut/CFMW上公开发布。

本论文旨在解决现有可见光-红外物体检测方法在恶劣天气条件下性能下降的问题，通过提出一个新的任务和构建一个新的数据集来进行研究。

论文提出了一种名为CFMW的模型，通过引入Weather Removal Diffusion Model（WRDM）和Cross-modality Fusion Mamba（CFM）模块，实现了可见光-红外物体检测在恶劣天气条件下的精度提升。

实验结果表明，CFMW在恶劣天气条件下的物体检测性能优于现有基准。该论文构建了一个新的数据集SWVID，并且提供了开源代码。

近期相关研究包括：1. Chen等人的《Towards Adverse Weather Detection in Autonomous Driving: A Multi-Sensor Fusion Approach》2. Zhang等人的《Infrared and Visible Image Fusion via Latent Low-Rank Representation and Multi-Task Learning》