DerainNeRF: 3D Scene Estimation with Adhesive Waterdrop Removal

在雨天或雪天拍摄穿过玻璃的图像时，图像通常会包含附着在玻璃表面上的水滴，这些水滴会严重降低图像质量并影响许多计算机视觉算法的性能。为了解决这些限制，我们提出了一种方法，通过多视角图像隐式重建清晰的3D场景。我们的方法利用注意力网络来预测水滴的位置，然后训练神经辐射场来隐式恢复3D场景。通过利用NeRF强大的场景表示能力，我们的方法可以呈现高质量的去除水滴的新视角图像。在合成和真实数据集上的广泛实验结果表明，我们的方法能够生成清晰的3D场景，并且优于现有的最先进的图像水滴去除方法。

论文旨在解决通过玻璃窗拍摄图像时，水滴附着在玻璃表面上所带来的图像质量下降和计算机视觉算法性能受限的问题。

论文提出了一种方法，利用注意力网络预测水滴的位置，并训练神经辐射场来隐式恢复清晰的3D场景。通过利用NeRF强大的场景表示能力，论文的方法可以生成去除水滴的高质量新视角图像。

论文的实验结果表明，该方法在合成和真实数据集上均能生成清晰的3D场景，并优于现有的图像去水滴方法。值得关注的是，论文还提供了开源代码。

最近的相关研究包括：《RainNet: A Rain Removal Network Using a Convolutional Neural Network》、《Deep Joint Rain Detection and Removal from a Single Image》等。