Deblurring 3D Gaussian Splatting

最近的Radiance Fields研究为新颖视角合成铺平了坚实的道路，其具有逼真的渲染质量。然而，它们通常采用神经网络和体积渲染，这些方法的训练成本高，而且由于渲染时间过长，阻碍了它们在各种实时应用中的广泛使用。最近提出了基于3D高斯喷洒的方法来建模3D场景，它在实时渲染图像时实现了卓越的视觉质量。然而，如果训练图像模糊，它会遭受严重的渲染质量降低。模糊通常是由于镜头失焦、物体运动和相机抖动等原因导致的，它不可避免地干扰了清晰图像的获取。过去的几项研究尝试使用神经场从模糊输入图像中渲染出清晰锐利的图像。然而，这些工作大多仅适用于基于体积渲染的神经辐射场，并不直接适用于基于光栅化的3D高斯喷洒方法。因此，我们提出了一个新颖的实时去模糊框架，即使用小型多层感知机（MLP）操作每个3D高斯的协方差来模拟场景的模糊度，从而实现3D高斯喷洒的去模糊。虽然去模糊3D高斯喷洒仍然可以享受实时渲染，但它可以从模糊图像中重建出精细锐利的细节。我们在基准测试上进行了各种实验，并且结果显示了我们的去模糊方法的有效性。定性结果可在https://benhenryl.github.io/Deblurring-3D-Gaussian-Splatting/上查看。

论文试图解决的问题是如何使用实时的方法对模糊图像进行去模糊处理，使其能够在3D高斯喷洒渲染中得到清晰的呈现。这是一个新问题。

论文提出了一种使用小型多层感知器（MLP）来操纵每个3D高斯的协方差以模拟场景模糊度的实时去模糊框架，称为去模糊3D高斯喷洒。相比于当前基于神经辐射场的体积渲染方法，该方法可以实现实时渲染，同时可以从模糊图像中重建出细节清晰的图像。

论文的实验结果表明，该方法的有效性。作者使用了多个基准数据集进行实验，并且提供了开源代码。该方法的亮点包括实时渲染和能够从模糊图像中重建出细节清晰的图像。

最近的相关研究包括使用神经场进行体积渲染的方法，以及使用神经网络对模糊图像进行去模糊处理的方法。相关论文包括《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》和《Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring》。