FreqMamba: Viewing Mamba from a Frequency Perspective for Image Deraining

本文讨论了图像去雨问题，由于雨滴会使图像失去重要的频率信息，因此需要进行图像去雨处理，该处理方法依赖于全局和局部降解建模。最近的研究表明，基于利用补丁之间的局部相关性，Mamba可以有效地感知全局和局部信息，但是很少有尝试将其与频率分析相结合以进行图像去雨处理，这限制了它感知与频率建模相关的全局降解的能力（例如傅里叶变换）。因此，本文提出了FreqMamba，这是一种有效且高效的范例，它利用了Mamba和频率分析之间的互补性来进行图像去雨处理。我们的方法的核心在于从两个方面扩展Mamba的频率分析：扩展频率带以利用频率相关性，并将其与傅里叶变换连接以进行全局降解建模。具体来说，FreqMamba引入了互补的三重交互结构，包括空间Mamba、频率带Mamba和傅里叶全局建模。频率带Mamba将图像分解成不同频率的子带，允许从频率维度进行2D扫描。此外，利用Mamba的独特数据依赖性，我们使用不同尺度的雨天图像为网络提供降解先验，从而促进了有效的训练。广泛的实验表明，我们的方法在视觉和定量上都优于现有的方法。

本文旨在解决雨滴遮挡导致图像信息丢失的问题，通过结合Mamba和频率分析提出了一种新的图像去雨滴方法，以提高全局降解建模的能力。

FreqMamba是一种有效和高效的图像去雨滴范例，它通过从两个方面扩展Mamba的频率分析来优化图像去雨滴，即使用频率带扩展Mamba以利用频率相关性，并使用傅里叶变换进行全局降解建模。

论文提出了一种新的图像去雨滴方法，使用了频率分析和Mamba的结合，实验结果表明其在视觉和定量上均优于现有的方法。此外，论文还使用了不同尺度的雨滴图像提供降解先验来提高训练效率。

最近的相关研究包括：Deep Joint Rain Detection and Removal from a Single Image (CVPR 2019)，Fast Single Image Deraining via Implicit and Explicit Convolutional Neural Networks (CVPR 2019)，以及Density-aware Single Image De-raining using a Multi-stream Dense Network (CVPR 2020)。