Image Deraining with Frequency-Enhanced State Space Model

本文指出，去除图像中的雨痕是一个重要问题。在这个领域中，基于深度学习的方法，如卷积神经网络（CNN）和Transformer，已经取得了成功。最近，由于其模拟长程依赖的能力，在自然语言处理和图像处理的各种任务中，状态空间模型（SSM）表现出了优越的性能。本研究将SSM引入到雨痕去除中，并提出了一种去雨频域增强状态空间模型（DFSSM）。为了有效地去除产生特定方向高强度频率成分的雨痕，我们同时采用频域处理和SSM。此外，我们开发了一种新型的混合尺度门控卷积块，它使用多个内核尺寸的卷积有效地捕捉各种尺度的退化，并集成门控机制来管理信息流。最后，在合成和真实世界的雨天图像数据集上的实验表明，我们的方法超越了现有的最先进方法。

本论文旨在解决图像中雨水伪影的问题，通过引入State Space Models（SSMs）并结合频域处理来提高雨水去除的效果。

论文提出了一种Deraining Frequency-Enhanced State Space Model（DFSSM）方法，采用混合尺度门控卷积块来有效地去除不同尺度的雨水伪影，并通过SSM模型来处理长距离的依赖关系。

论文在合成和真实的雨天图像数据集上进行了实验，证明了DFSSM方法在雨水去除方面具有优异的性能，且优于目前的主流方法。同时，论文提出的混合尺度门控卷积块也具有一定的创新性。

近期的相关研究包括：'Single Image Deraining Using Deep Convolutional Neural Network with Concatenated Channel Attention Mechanism'、'Deep Joint Rain Detection and Removal from a Single Image'、'Residual De-raining Network for Removing Rain from an Image'等。