Gaussian in the Dark: Real-Time View Synthesis From Inconsistent Dark Images Using Gaussian Splatting

最近，3D高斯喷洒成为一种强大的表示方法，可以使用一致的多视图图像作为输入，合成出色的新视图。然而，我们注意到，在光线不足的环境中拍摄的图像可能会出现明暗变化和多视图不一致性，这给3D高斯喷洒带来了巨大挑战，并严重影响了其性能。为了解决这个问题，我们提出了Gaussian-DK。观察到不一致性主要是由相机成像引起的，我们使用一组各向异性的3D高斯函数来表示物理世界的一致辐射场，并设计了一个相机响应模块来补偿多视图不一致性。我们还引入了一种基于步骤的梯度缩放策略，以约束靠近相机的高斯函数，这些高斯函数容易出现浮点和克隆。我们在我们提出的基准数据集上的实验表明，Gaussian-DK可以生成高质量的渲染图像，没有幽灵和浮点伪影，并且明显优于现有方法。此外，我们还可以通过控制曝光水平来合成明亮的图像，以清晰地显示阴影区域的细节。

论文旨在解决在暗环境中拍摄的多视角图像在使用3D高斯喷洒技术时出现的亮度变化和多视角不一致性问题，提高3D高斯喷洒技术的性能。

论文的关键思路是使用一组各向异性的3D高斯函数来表示物理世界的一致辐射场，并设计相机响应模块来补偿多视角不一致性。同时，引入一种基于步骤的梯度缩放策略来约束高斯函数在相机附近的浮动点不出现分裂和克隆。

论文的实验结果表明，Gaussian-DK产生的渲染图像质量高，没有幽灵和浮动点等伪影，并且可以通过控制曝光水平合成明暗细节丰富的图像。此外，论文还提出了一个基准数据集，并展示了Gaussian-DK相较于现有方法的显著优势。

最近在这个领域中，一些相关研究包括：《DeepVoxels: Learning Persistent 3D Feature Embeddings》、《Multi-View Stereo via Volumetric Graph-Cuts and Occlusion Robust Photo-Consistency》、《Deep Blending for Free-Viewpoint Image-Based Rendering》等。