MaeFuse: Transferring Omni Features with Pretrained Masked Autoencoders for Infrared and Visible Image Fusion via Guided Training

在这项研究中，我们引入了MaeFuse，这是一种新颖的自编码器模型，专门设计用于红外和可见图像融合（IVIF）。现有的图像融合方法通常依赖于训练和下游任务来获取高级视觉信息，这在强调目标对象和在视觉质量和任务特定应用方面提供令人印象深刻的结果方面是有效的。然而，MaeFuse与众不同。我们的模型不是由下游任务驱动，而是利用了来自Masked Autoencoders（MAE）的预训练编码器，该编码器便于进行低级重建和高级视觉任务的全方位特征提取，以低成本获取感知友好的特征。为了消除不同模态特征的域差和MAE编码器引起的块效应，我们进一步开发了一种引导式训练策略。这个策略是精心设计的，以确保融合层无缝地调整到编码器的特征空间，逐渐增强融合效果。它促进了来自红外和可见模态的特征向量的全面整合，保留了每个模态固有的丰富细节。MaeFuse不仅在融合技术领域引入了一种新颖的视角，而且在各种公共数据集上表现出令人印象深刻的性能。

该论文旨在解决红外和可见光图像融合中存在的问题，即现有方法往往依赖于训练和下游任务来获取高级视觉信息，而MaeFuse则通过预训练的MAE编码器来获得感知友好的特征，以实现低级重建和高级视觉任务的全面集成。

该论文的关键思路是使用预训练的MAE编码器来提取特征，并使用有指导性的训练策略来消除不同模态特征之间的域差异和MAE编码器引起的块效应，从而实现红外和可见光图像的无缝融合。

该论文的亮点包括使用MAE编码器来提取特征、使用有指导性的训练策略来消除域差异和块效应、实现红外和可见光图像的全面集成，并在各种公共数据集上展现了出色的性能。

最近在这个领域中，还有一些相关的研究，如《Infrared and visible image fusion using a deep learning framework》、《Infrared and visible image fusion using multiscale fusion with convolutional neural network》等。