CoMoFusion: Fast and High-quality Fusion of Infrared and Visible Image with Consistency Model

生成模型广泛用于红外和可见图像融合领域中对融合图像分布进行建模。然而，目前基于生成模型的融合方法通常存在训练不稳定和推理速度慢的问题。为了解决这个问题，提出了一种基于一致性模型的新型融合方法，称为CoMoFusion，可以生成高质量的图像并实现快速图像推理速度。具体而言，使用一致性模型在潜空间中构建多模态联合特征，采用正向和反向过程。然后，将经过训练的一致性模型提取的红外和可见特征馈入融合模块生成最终融合图像。为了增强融合图像的纹理和显著信息，还设计了一种基于像素值选择的新型损失。公共数据集上的大量实验表明，与现有的融合方法相比，我们的方法获得了SOTA融合性能。

解决问题：论文旨在解决红外和可见光图像融合中的稳定训练和快速推理速度问题。

关键思路：论文提出了一种基于一致性模型的融合方法，通过前向和反向过程在潜在空间中构建多模态联合特征。然后，将由训练有素的一致性模型提取的红外和可见光特征馈入融合模块以生成最终融合图像。同时，还设计了基于像素值选择的新型损失来增强融合图像的纹理和显著信息。

其他亮点：论文在公共数据集上进行了广泛实验，证明了该方法相对于现有融合方法具有SOTA融合性能。此外，论文还开源了代码，值得进一步研究。

相关研究：最近在这个领域中，还有一些相关的研究，例如“Multi-focus image fusion using a deep convolutional neural network”、“Infrared and visible image fusion based on deep learning and saliency detection”等。