Dual-modal Prior Semantic Guided Infrared and Visible Image Fusion for Intelligent Transportation System

红外和可见光图像融合在智能交通系统中起着重要作用。早期的研究主要关注提高融合结果的视觉吸引力，只有几种最近的方法尝试将高级视觉任务与红外和可见光图像融合结合起来。然而，它们优先考虑级联结构的设计，以寻求统一的适合不同任务的特征。因此，它们往往倾向于重建原始像素，而不考虑语义特征的重要性。因此，我们提出了一种基于双模态策略的新型先验语义引导图像融合方法，以提高智能交通系统中的红外和可见光图像融合的性能。具体而言，为了探索每种模态的独立重要语义，我们首先设计了两个平行的语义分割分支，并采用精细的特征自适应调制机制(RFaM)。RFaM可以感知每个语义分割分支中语义上不同的特征。然后，基于这两个分支进行了两个试验，以捕捉两个图像的重要先验语义，然后应用于引导融合任务在语义分割分支和融合分支的整合中。此外，为了整合高级语义和令人印象深刻的视觉效果，我们进一步研究了先验语义的频率响应，并提出了一种多级表示自适应融合(MRaF)模块，以显式地将低频先验语义与高频细节集成在一起。在两个公共数据集上进行的大量实验证明了我们的方法在视觉吸引力或高级语义方面优于最先进的图像融合方法。

该论文旨在提高智能交通系统中红外和可见图像融合的性能，特别是在高级视觉任务方面。传统方法主要关注提高融合结果的视觉吸引力，而缺乏对高级语义特征的考虑。

该论文提出了一种基于双模态策略的先验语义引导图像融合方法，通过两个并行的语义分割分支来探索每个模态的独立显著语义，然后将这些语义引导融合分支。同时，论文还提出了一种多级表示自适应融合模块，以明确地将低频先验语义与高频细节集成起来。

该论文在两个公共数据集上进行了广泛的实验，证明了该方法在视觉吸引力和高级语义方面优于现有的图像融合方法。值得注意的是，该论文还研究了先验语义的频率响应，并提出了MRaF模块来集成低频先验语义和高频细节。

最近在这个领域中的相关研究包括：'Infrared and visible image fusion using a deep learning framework', 'Infrared and visible image fusion with multiscale convolutional neural network and nonlinear pulse coupled neural network', 'Multisensor image fusion using the pulse-coupled neural network and genetic algorithm'.