BAGS: Blur Agnostic Gaussian Splatting through Multi-Scale Kernel Modeling

最近，使用三维高斯函数进行场景重建和新视角合成的努力在经过筛选的基准测试中取得了令人印象深刻的结果；然而，在现实生活中拍摄的图像往往会模糊不清。在这项工作中，我们分析了基于高斯喷洒的方法对各种图像模糊的鲁棒性，例如运动模糊、散焦模糊、降采样模糊等。在这些退化情况下，基于高斯喷洒的方法往往会过度拟合，并产生比基于神经辐射场的方法更差的结果。为了解决这个问题，我们提出了模糊不可知的高斯喷洒（BAGS）。BAGS引入了额外的二维建模能力，使得即使在图像模糊的情况下也能重建出一致且高质量的三维场景。具体而言，我们通过从模糊提议网络（BPN）估计每个像素的卷积核来对模糊进行建模。BPN旨在考虑场景的空间、颜色和深度变化，以最大化建模能力。此外，BPN还提出了一个质量评估掩码，用于指示发生模糊的区域。最后，我们引入了一种由粗到细的核优化方案；这种优化方案快速且避免了由于模糊图像上的稀疏点云初始化而导致的次优解，这种情况在我们对模糊图像应用结构从运动时经常发生。我们证明BAGS在各种具有挑战性的模糊条件和成像几何下实现了逼真的渲染，同时显著改进了现有方法。

本文旨在分析高斯喷洒方法对各种图像模糊的鲁棒性，并提出一种新的方法来解决这个问题。

提出了一种新的Blur Agnostic Gaussian Splatting (BAGS)方法，该方法通过使用模糊卷积核和一个模糊建议网络（BPN）来解决高斯喷洒方法在图像模糊情况下产生过拟合的问题。

实验结果表明，BAGS方法在各种具有挑战性的图像模糊条件和成像几何下实现了逼真的渲染，并显著改进了现有方法。此外，BPN还提出了一个质量评估掩码，用于指示发生模糊的区域。

最近的相关研究包括使用3D高斯函数进行场景重建和新视角合成的工作，以及使用神经辐射场的方法。