MDeRainNet: An Efficient Neural Network for Rain Streak Removal from Macro-pixel Images

由于雨天经常会降低图像质量并对大多数基于计算机视觉的智能系统构成重大挑战，因此图像去雨一直是一个热门的研究课题。幸运的是，在雨光场（LF）图像中，一个子视图中被雨条遮挡的背景可能在其他子视图中可见，并且隐含的深度信息和记录的四维结构信息可能有助于雨条检测和去除。然而，现有的LF图像去雨方法要么没有充分利用4D LF数据的全局相关性，要么只使用部分子视图，导致亚最优的雨去除性能和不同去雨子视图的质量不一致。在本文中，我们提出了一种高效的网络，称为MDeRainNet，用于从LF图像中去除雨条。所提出的网络采用多尺度编码器-解码器架构，直接对宏像素图像（MPI）进行处理以提高去雨性能。为了充分模拟空间和角度信息之间的全局相关性，我们提出了一个扩展的空间-角度交互（ESAI）模块来合并它们，其中还提出了一种简单有效的基于Transformer的空间-角度交互注意力（SAIA）块，用于建模长程几何相关性和充分利用角度信息。此外，为了提高我们的网络在现实世界雨天场景中的泛化性能，我们提出了一种新颖的半监督学习框架，用于我们的MDeRainNet，它利用多级KL损失来弥合合成和现实世界雨条特征之间的域差，并引入彩色残留图像引导对比正则化来重构无雨图像。在合成和真实世界LFIs上进行的大量实验表明，我们的方法在定量和定性上都优于现有的最先进方法。

本文旨在解决雨天天气对图像质量的影响，提出一种基于多视角图像的雨滴去除方法。

本文提出了一个名为MDeRainNet的网络，采用多尺度编码器-解码器结构，直接处理宏像素图像以提高去雨效果。同时，引入了扩展的空间-角度交互模块（ESAI）来充分模拟空间和角度信息之间的全局相关性，其中还提出了一种基于Transformer的空间-角度交互注意力（SAIA）块来建模长程几何相关性和充分利用角度信息。

本文提出了一种半监督学习框架，用于提高网络在真实场景下的泛化性能，并介绍了彩色残差图像引导的对比正则化来重建去雨图像。实验结果表明，本文方法在合成和真实多视角图像上均优于现有的方法。

近期的相关研究包括：Multi-Scale Progressive Fusion Network for Single Image Deraining、Dual-Attention Network for Scene-Text Recognition、Deep Video Deblurring Using Temporal Aggregation Network等。