VIFNet: An End-to-end Visible-Infrared Fusion Network for Image Dehazing

图像去雾在环境感知中面临着重大挑战。最近的研究主要集中在基于单一模态的深度学习方法上，然而在浓雾情况下，这些方法可能会导致严重的信息丢失。红外图像对于雾霾具有较强的鲁棒性，然而现有的方法主要将红外模态视为辅助信息，未能充分挖掘其在去雾中的丰富信息。为了应对这一挑战，本研究的关键洞见是设计了一个可见光-红外融合网络用于图像去雾。具体而言，我们提出了一个多尺度深度结构特征提取（DSFE）模块，该模块整合了通道-像素注意力块（CPAB），以恢复更多的深层结构特征中的空间和边缘信息。此外，我们引入了一种不一致性加权融合策略，通过利用更可靠的信息来合并两种模态。为了验证这一点，我们构建了一个名为AirSim-VID的可见光-红外多模态数据集，该数据集基于AirSim模拟平台。在具有挑战性的真实和模拟图像数据集上进行的广泛实验表明，VIFNet可以胜过许多最先进的竞争方法。代码和数据集可在https://github.com/mengyu212/VIFNet_dehazing上获得。

本论文旨在解决图像去雾中存在的信息丢失问题，提出了一种可见光红外融合的深度学习方法来提高去雾效果。

本论文的关键思路是设计了一个可见光红外融合网络，其中包括多尺度深度结构特征提取模块和不一致性加权融合策略，以更好地利用红外图像的信息。

本论文构建了一个名为AirSim-VID的可见光红外多模态数据集，并在真实和模拟图像数据集上进行了大量实验，证明了该方法的有效性。此外，作者还开源了代码和数据集。

最近的相关研究主要集中在基于单一模态的深度学习方法上，而本论文则利用可见光和红外图像的融合来提高去雾效果。