VmambaIR: Visual State Space Model for Image Restoration

图像恢复是低层计算机视觉中的关键任务，旨在从降质的输入中恢复高质量的图像。各种模型，如卷积神经网络（CNN）、生成对抗网络（GAN）、变换器和扩散模型（DM），已被用于解决此问题，并产生了显着的影响。然而，CNN在捕捉长距离依赖方面存在局限性。DM需要大型先验模型和计算密集型的去噪步骤。变压器具有强大的建模能力，但面临着由于输入图像大小而产生的二次复杂度挑战。为了解决这些挑战，我们提出了VmambaIR，它将线性复杂度的状态空间模型（SSMs）引入到全面的图像恢复任务中。我们利用Unet架构来堆叠我们提出的Omni Selective Scan（OSS）块，由OSS模块和高效前馈网络（EFFN）组成。我们提出的全向选择扫描机制通过高效地建模图像信息在六个方向上的流动，克服了SSMs单向建模的局限性。此外，我们对我们的VmambaIR在多个图像恢复任务中进行了全面评估，包括图像去雨、单幅图像超分辨率和真实世界图像超分辨率。广泛的实验结果表明，我们提出的VmambaIR在更少的计算资源和参数下实现了最先进的性能。我们的研究凸显了状态空间模型作为变压器和CNN体系结构的有前途的替代品，可以作为下一代低层视觉任务的基础框架。

本文旨在解决低级计算机视觉中图像恢复问题，提出了一种使用状态空间模型的新型综合图像恢复方法。

该论文提出了一种使用状态空间模型的新型综合图像恢复方法，通过引入OSS块和EFFN网络，有效地解决了SSM单向建模的局限性，并在多个图像恢复任务上实现了最先进的性能。

该论文使用Unet架构堆叠了OSS块，其中包括OSS模块和EFFN网络，有效地解决了长距离依赖问题，并通过在六个方向上建模图像信息流来克服了SSM单向建模的局限性。实验结果表明，VmambaIR在多个图像恢复任务上实现了最先进的性能，并且参数和计算资源更少。

与此相关的研究包括使用CNN，GAN，Transformer和DM等模型进行图像恢复的研究。