RainyScape: Unsupervised Rainy Scene Reconstruction using Decoupled Neural Rendering

我们提出了RainyScape，这是一个无监督的框架，可以从多视角雨天图像的集合中重建出干净的场景。RainyScape由两个主要模块组成：神经渲染模块和降雨预测模块，其中包括预测器网络和可学习的潜在嵌入，用于捕捉场景的降雨特征。具体而言，基于神经网络的光谱偏差特性，我们首先优化神经渲染管道，以获得低频场景表示。随后，我们通过提出的自适应方向敏感梯度重建损失，联合优化这两个模块，鼓励网络区分场景细节和雨滴，促进梯度传播到相关组件。在经典的神经辐射场和最近提出的3D高斯喷洒上进行的大量实验表明，我们的方法在有效消除雨滴和渲染干净图像方面具有卓越的性能，达到了最先进的水平。构建的高质量数据集和源代码将公开发布。

论文旨在提出一种无监督框架RainyScape，用于从多视角雨天图像集合中重构干净场景。该方法旨在有效消除雨滴痕迹，提高图像质量。

RainyScape框架包含两个主要模块：神经渲染模块和雨预测模块。神经渲染模块通过优化获得低频场景表示。雨预测模块则包括一个预测器网络和一个可学习的潜在嵌入，用于捕捉场景的雨特征。两个模块通过自适应方向敏感梯度重构损失进行联合优化。

论文在经典的神经辐射场和最近提出的3D高斯喷洒上进行了广泛实验，证明了RainyScape方法在消除雨滴痕迹和渲染干净图像方面的卓越性能。此外，论文还提供了高质量的数据集和开源代码。

近期的相关研究包括：'Single Image Rain Removal Using Attention-Guided Network'，'Deep Joint Rain Detection and Removal from a Single Image'，'A context-aware single-image rain streaks removal algorithm'等。