Pixel-GS: Density Control with Pixel-aware Gradient for 3D Gaussian Splatting

3D高斯喷洒（3DGS）在提高实时渲染性能的同时，展示了令人印象深刻的新视角合成结果。然而，它严重依赖于初始点云的质量，在缺少初始化点的区域会产生模糊和针状伪影。这主要归因于3DGS中点云生长条件只考虑来自可观察视角的点的平均梯度大小，因此无法生长对许多视点可见的大高斯函数，而这些高斯函数的许多部分仅被包含在边界中。为此，我们提出了一种新方法，称为Pixel-GS，以考虑在计算生长条件时每个视图中高斯函数覆盖的像素数。我们将覆盖的像素数视为权重，以动态平均来自不同视角的梯度，从而可以促进大高斯函数的生长。因此，在初始化点不足的区域内，点可以更有效地生长，从而实现更准确和详细的重建。此外，我们提出了一种简单而有效的策略，根据到相机的距离来缩放梯度场，以抑制靠近相机的浮点生长。广泛的定性和定量实验表明，我们的方法在保持实时渲染速度的同时，实现了最先进的渲染质量，在具有挑战性的Mip-NeRF 360和Tanks＆Temples数据集上表现出色。

本文试图解决3D Gaussian Splatting在点云初始化质量不高时出现的模糊和针状伪影问题，提出一种新的方法解决这一问题。

本文提出了一种名为Pixel-GS的新方法，在计算增长条件时考虑了每个视角中高斯函数覆盖的像素数量作为权重，以动态平均不同视角中的梯度，从而促进大高斯函数的增长。此外，还提出了一种简单而有效的策略，根据距离相机的距离来缩放梯度场，以抑制靠近相机的浮点数的增长。

实验结果表明，本文的方法在Mip-NeRF 360和Tanks＆Temples数据集上实现了最先进的渲染质量，同时保持了实时渲染速度。本文的方法还可以应用于其他点云渲染任务，例如点云重建和点云分类等。

与本文相关的研究包括3D点云渲染和视图合成，例如Mip-NeRF和NeRF等。此外，还有一些关于点云重建和分类的研究，如PointNet和PointCNN等。