FourierMamba: Fourier Learning Integration with State Space Models for Image Deraining

图像去雨旨在从雨天图像中去除雨痕并恢复清晰背景。目前，一些利用傅里叶变换的研究已经证明对图像去雨是有效的，因为它作为捕捉雨痕的有效频率先验。然而，尽管图像中存在低频和高频的依赖性，这些基于傅里叶的方法很少利用不同频率之间的相关性来结合其学习过程，从而限制了频率信息在图像去雨中的充分利用。相反，最近出现的Mamba技术展示了其在各个领域（例如，空间，时间）建模相关性的有效性和效率，我们认为将Mamba引入其未被开发的傅里叶空间以关联不同频率将有助于改善图像去雨。这激发了我们提出了一种名为FourierMamba的新框架，它在傅里叶空间中使用Mamba进行图像去雨。由于傅里叶空间中频率顺序的独特排列，FourierMamba的核心在于不同频率的扫描编码，其中低高频顺序格式在空间维度（未在轴上排列）和通道维度（在轴上排列）中表现不同。因此，我们设计了在不同维度中相关傅里叶空间信息的FourierMamba，具有不同的设计。具体而言，在空间维度的傅里叶空间中，我们引入了Zigzag编码来扫描频率，将顺序从低到高频率重新排列，从而有序地关联频率之间的连接；在通道维度的傅里叶空间中，频率的排列顺序在轴上，我们可以直接使用Mamba来执行频率相关性并改善通道信息表示。

提出了一种名为FourierMamba的新框架，旨在利用Mamba技术在傅里叶空间中进行频率相关性建模，以改进图像去雨效果。

FourierMamba框架在空间和通道维度中分别使用扫描编码和Mamba技术，以改善频率信息表示和相关性建模。

论文通过实验验证了FourierMamba框架的有效性和效率，并与其他图像去雨方法进行了比较。使用了公开数据集Rain100L和Rain800进行实验，并提供了开源代码。

最近的相关研究包括：'Deep Joint Rain Detection and Removal from a Single Image'、'Single-Image-Based Rain and Snow Removal: A Survey'、'Video Rain Streak Removal by Multiscale Convolutional Sparse Coding'等。