Bidirectional Multi-Scale Implicit Neural Representations for Image Deraining

如何有效地探索多尺度的雨滴表征对于图像去雨很重要。与现有的主要依赖于单尺度雨滴外观的基于Transformer的方法不同，我们开发了一种端到端的多尺度Transformer，利用不同尺度中可能有用的特征来促进高质量的图像重建。为了更好地探索空间变化的雨滴普遍退化表征，我们将基于像素坐标的尺度内隐式神经表征与退化输入结合在一个闭环设计中，使学习到的特征能够促进去雨并提高模型在复杂情况下的鲁棒性。为了确保不同尺度之间更丰富的协作表征，我们通过执行从粗到细和从细到粗的信息传递，将一个简单但有效的尺度间双向反馈操作嵌入到我们的多尺度Transformer中。大量实验表明，我们的方法名为NeRD-Rain，在合成和真实世界基准数据集上表现优于现有最先进的方法。源代码和训练模型可在https://github.com/cschenxiang/NeRD-Rain找到。

本论文旨在解决图像去雨问题中的多尺度表示探索问题，提出了一种基于多尺度Transformer的端到端去雨方法NeRD-Rain。

本文提出的NeRD-Rain方法采用多尺度Transformer，结合像素坐标的内部尺度隐式神经表示和粗到细、细到粗的信息交流，实现了更好的图像去雨效果。

NeRD-Rain方法在合成和实际数据集上的实验表明，其性能优于现有的去雨方法，该论文提供了源代码和训练模型。

与本文相关的研究包括基于Transformer的去雨方法，以及其他基于深度学习的图像去雨方法，如Cycle-DeRain，JORDER，PReNet等。