3D Gaussian Splatting as Markov Chain Monte Carlo

最近，基于3D高斯喷洒的神经渲染变得越来越流行，但目前的方法依赖于精心设计的克隆和分裂策略来放置高斯核，这并不总是具有普适性，可能会导致渲染质量较差。此外，对于现实世界的场景，它们依赖于良好的初始点云才能表现良好。在这项工作中，我们重新思考3D高斯核，将其视为从描述场景物理表示的潜在概率分布中抽取的随机样本，换句话说，是马尔可夫链蒙特卡罗(MCMC)样本。在这个观点下，我们展示了3D高斯更新与随机朗维因梯度下降(SGLD)更新非常相似。与MCMC一样，样本只是过去的访问位置，我们的框架下添加新的高斯核可以简单地实现，只需将高斯核放置在现有高斯核位置即可，为了提高效率，我们引入了高斯核的L1正则化器。在各种标准评估场景中，我们展示了我们的方法提供了改进的渲染质量，易于控制高斯核数量以及对初始化的鲁棒性。

本文试图解决3D高斯喷洒在神经渲染中的问题，包括不易泛化的高斯克隆和分割策略，以及对良好初始点云的依赖性。

本文提出将3D高斯视为从描述场景物理表示的潜在概率分布中抽取的随机样本——即马尔可夫链蒙特卡洛（MCMC）样本，并将3D高斯更新视为随机朗维因子下降（SGLD）更新。

本文提出的方法提供了更好的渲染质量、对高斯数量的易于控制以及对初始化的稳健性。实验展示了该方法在各种标准评估场景中的表现，并且引入了L1正则化器以提高效率。

最近的相关研究包括基于深度学习的神经渲染方法和其他3D高斯喷洒方法，如DeepSDF和IM-NET。