RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting

我们提出了实时高斯SLAM（RTG-SLAM），这是一个使用高斯点云技术的RGBD相机实时三维重建系统，适用于大规模环境。该系统具有紧凑的高斯表示和高度有效的实时高斯优化方案。我们强制每个高斯要么是不透明的，要么几乎是透明的，不透明的高斯适合表面和主要颜色，透明的高斯适合残留颜色。通过以不同的方式呈现深度和颜色，我们可以让单个不透明的高斯很好地适应局部表面区域，而无需多个重叠的高斯，从而大大减少了内存和计算成本。对于实时高斯优化，我们明确地为每帧的三种类型的像素添加高斯：新观察到的像素、具有较大颜色误差的像素和具有较大深度误差的像素。我们还将所有高斯分为稳定和不稳定两类，其中稳定的高斯预计能够很好地适应先前观察到的RGBD图像，否则就是不稳定的。我们仅优化不稳定的高斯，并仅渲染由不稳定的高斯占据的像素。通过这种方式，需要优化的高斯数量和需要渲染的像素数量都大大减少，优化可以实时完成。我们展示了各种大场景的实时重建。与最先进的基于NeRF的RGBD SLAM相比，我们的系统实现了可比较的高质量重建，但速度大约快两倍，内存成本减少一半，并且在新视角合成的逼真度和相机跟踪精度方面表现优异。

论文旨在解决使用RGBD相机进行大规模环境下的实时三维重建问题，同时提高视角合成和相机跟踪的精度。

论文提出了一种基于高斯光滑的实时三维重建系统，使用紧凑的高斯表示和高效的实时高斯优化方案，通过将高斯强制分为不透明和几乎透明两种类型，以减少内存和计算成本。

论文在多个大场景下展示了实时重建的能力，并且相比于现有的RGBD SLAM方法，该方法速度更快，内存占用更小，同时在视角合成和相机跟踪方面表现更好。

最近在这个领域中，还有一些相关的研究，例如NeRF-based RGBD SLAM等。