Learning A Spiking Neural Network for Efficient Image Deraining

最近，脉冲神经网络（SNN）在计算机视觉任务中展示了相当大的潜力。本文介绍了一种高效的脉冲去雨网络ESDNet。我们的工作受到以下观察的启发：雨滴像素值会导致SNN中脉冲信号的更加明显的强度。然而，直接将深度SNN应用于图像去雨任务仍然存在重大挑战。这是由于离散二进制激活和复杂的时空动态引起的信息丢失和训练困难。为此，我们开发了一个脉冲残差块将输入转换为脉冲信号，然后通过引入注意力权重来自适应地优化膜电位，以数据驱动的方式调整脉冲响应，从而减轻离散二进制激活引起的信息丢失。通过这种方式，我们的ESDNet可以通过学习雨滴的波动特征有效地检测和分析它们的特征，从而更好地指导去雨过程并促进高质量图像重建。我们引入了梯度代理策略来直接训练模型，而不是依赖于ANN-SNN转换策略，以克服训练的挑战。实验结果表明，我们的方法在减少能量消耗54%的同时，获得了与基于ANN的方法相当的性能。代码源可在https://github.com/MingTian99/ESDNet获得。

本文旨在解决使用脉冲神经网络（SNN）进行图像去雨的问题，通过自适应地优化膜电位并引入注意力权重，以减轻离散二进制激活造成的信息损失和训练困难。

本文提出了一种名为ESDNet的高效脉冲去雨网络，通过脉冲残差块将输入转换为脉冲信号，并引入注意力权重来自适应优化膜电位，以便更好地指导去雨过程并促进高质量的图像重建。同时，本文采用梯度代理策略来直接训练模型，以克服训练中的困难。

本文的亮点包括：1）提出了一种新的使用SNN进行图像去雨的方法，同时减少了能量消耗；2）引入注意力权重来自适应优化膜电位，以减轻离散二进制激活造成的信息损失和训练困难；3）使用梯度代理策略来直接训练模型，克服了训练中的困难；4）在多个数据集上进行了实验，并与其他方法进行了比较，表现出了可比较的性能。

最近在这个领域中，还有一些相关的研究。例如：1）Zhang等人提出了一种基于深度学习的图像去雨方法，使用卷积神经网络（CNN）来学习雨纹的特征，并进行去雨处理；2）Li等人提出了一种基于生成对抗网络（GAN）的图像去雨方法，通过生成器和判别器的训练来去除雨纹。