SRGS: Super-Resolution 3D Gaussian Splatting

最近，三维高斯点描（3DGS）因其作为一种新型明确的三维表示方法而受到欢迎。该方法依赖于高斯基元的表示能力以提供高质量的渲染。然而，优化低分辨率下的基元不可避免地会导致稀疏和纹理不足，这对于实现高分辨率新视角合成（HRNVS）构成了挑战。为了解决这个问题，我们提出了超分辨率三维高斯点描（SRGS）来在高分辨率（HR）空间中执行优化。在HR空间中增加视点时，引入了亚像素约束，利用多个低分辨率（LR）视图的亚像素跨视图信息。从更多视点积累的梯度将有助于基元的密度增加。此外，我们将预先训练的二维超分辨率模型与亚像素约束相结合，使得这些密集的基元可以学习到忠实的纹理特征。总的来说，我们的方法着重于增加密度和学习纹理，以有效增强基元的表示能力。实验结果表明，我们的方法只需LR输入就可以在HRNVS上实现高质量的渲染，并在具有挑战性的数据集（如Mip-NeRF 360和Tanks＆Temples）上优于最先进的方法。相关代码将在接受后发布。

本论文旨在解决3D Gaussian Splatting（3DGS）在低分辨率下存在稀疏和纹理不足的问题，限制了高分辨率新视角合成（HRNVS）的质量。

本文提出了一种在高分辨率空间中进行优化的超分辨率3D高斯喷涂（SRGS）方法，通过子像素约束和多个低分辨率视角的跨视图信息来增加视角数量，从而促进了高分辨率下的高质量渲染。

本文的亮点包括：通过SRGS方法增加视角数量，提高了低分辨率下3DGS的表示能力；结合2D超分辨率模型，提高了纹理特征的学习能力；实验结果表明本文方法在Mip-NeRF 360和Tanks＆Temples等数据集上优于当前最先进的方法。

在这个领域中，最近的相关研究包括NeRF，Mip-NeRF和Tanks＆Temples等。