WildGaussians: 3D Gaussian Splatting in the Wild

尽管由于其逼真的质量，3D场景重建领域主要由NeRFs主导，但最近出现了3D高斯样条（3DGS），其提供了类似的质量和实时渲染速度。然而，这两种方法主要擅长于良好控制的3D场景，而野外数据——其特点是遮挡、动态物体和不同的光照——仍然具有挑战性。NeRFs可以通过每个图像嵌入向量轻松适应这些条件，但3DGS由于其显式表示和缺乏共享参数而难以应对。为了解决这个问题，我们引入了WildGaussians，这是一种处理3DGS遮挡和外观变化的新方法。通过利用强大的DINO特征并在3DGS中集成外观建模模块，我们的方法实现了最先进的结果。我们证明了WildGaussians可以匹配3DGS的实时渲染速度，同时在处理野外数据方面超过了3DGS和NeRF基线，所有这些都在一个简单的架构框架内完成。

本文旨在解决在-the-wild数据下的3D场景重建问题，即如何应对遮挡、动态物体和不同光照条件等问题。

本文提出了一种名为WildGaussians的方法，通过整合外观建模模块和DINO特征，来改进3D高斯喷洒方法（3D Gaussian Splatting）的性能，以实现更好的实时渲染效果。该方法在简单的架构框架内，超越了3D高斯喷洒和NeRF基线模型。

本文的亮点包括使用DINO特征和外观建模模块改进3D高斯喷洒方法，在-the-wild数据下实现了更好的性能表现，同时保持实时渲染速度；实验使用了公开数据集，代码也已开源。

最近在这个领域中，还有一些相关的研究，如NeRF、pixelNeRF、GRAF等。