Fourier-enhanced Implicit Neural Fusion Network for Multispectral and Hyperspectral Image Fusion

最近，隐式神经表示（INR）在各种与视觉相关的领域取得了显著进展，为多光谱和高光谱图像融合（MHIF）任务提供了一种新的解决方案。然而，INR容易丢失高频信息，并受到缺乏全局感知能力的限制。为了解决这些问题，本文介绍了一种傅里叶增强的隐式神经融合网络（FeINFN），专门设计用于MHIF任务，针对以下现象：HR-HSI潜在编码和LR-HSI的傅里叶振幅非常相似，但它们的相位展现出不同的模式。在FeINFN中，我们创新地提出了一种空间和频率隐式融合函数（Spa-Fre IFF），帮助INR捕捉高频信息并扩展感受野。此外，我们发明了一种新的解码器，采用复杂的Gabor小波激活函数，称为空间-频率交互解码器（SFID），以增强INR特征的相互作用。特别地，我们进一步理论证明了Gabor小波激活具有时频紧密性质，有利于在解码器中学习最佳带宽。在两个基准MHIF数据集上的实验验证了所提出方法的最先进（SOTA）性能，无论是在视觉上还是在定量上。此外，消融研究证明了所述贡献。可能被接受后，代码将在匿名GitHub（https://anonymous.4open.science/r/FeINFN-15C9/）上提供。

本文旨在解决多光谱和高光谱图像融合中难以捕捉高频信息和缺乏全局感知能力的问题。

文章提出了一种傅里叶增强的隐式神经融合网络（FeINFN），通过空间和频率隐式融合函数（Spa-Fre IFF）和空间频率交互解码器（SFID）来增强INR的高频信息捕捉和扩大感受野，并在解码器中使用复Gabor小波激活函数来增强INR特征的交互作用。

本文提出的FeINFN在两个基准MHIF数据集上均取得了最先进的视觉和定量性能，并进行了消融研究以证明所提出的贡献。该代码将在可能接受后的Anonymous GitHub上公开。

最近的相关研究包括：Implicit Neural Representations（INR）、多光谱和高光谱图像融合（MHIF）等。