RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting

我们提出了实时高斯SLAM（RTG-SLAM），这是一个使用高斯点云技术的RGBD相机大规模环境下的实时3D重建系统。该系统具有紧凑的高斯表示和高效的即时高斯优化方案。我们强制每个高斯要么是不透明的，要么是几乎透明的，其中不透明的高斯适合表面和主要颜色，透明的高斯适合残留颜色。通过以不同的方式呈现深度和颜色，我们可以让单个不透明高斯很好地适合局部表面区域，而无需多个重叠的高斯，从而大大降低了内存和计算成本。对于即时高斯优化，我们明确为每帧的三种像素类型添加高斯：新观察到的像素、颜色误差大的像素和深度误差大的像素。我们还将所有高斯分为稳定和不稳定的两种，其中稳定的高斯应该很好地适合先前观察到的RGBD图像，否则就是不稳定的。我们只优化不稳定的高斯，并只渲染由不稳定的高斯占据的像素。通过这种方式，需要优化的高斯数量和需要渲染的像素数量都大大减少，优化可以实时完成。我们展示了各种大场景的实时重建。与最先进的基于NeRF的RGBD SLAM相比，我们的系统在实现可比的高质量重建的同时，速度大约是其两倍，内存成本减半，并在新视角合成的逼真度和相机跟踪精度方面表现更好。

本论文旨在提出一种实时的三维重建系统，使用RGBD相机进行大规模环境下的高效重建，同时解决传统高斯重建方法中存在的内存和计算成本问题。

本文提出了一种紧凑的高斯表示方法和高效的即时高斯优化方案。将每个高斯分为不透明或几乎透明的两种类型，不透明的高斯用于拟合表面和主要颜色，透明的高斯用于拟合残余颜色。通过以不同的方式渲染深度和颜色，使得单个不透明的高斯可以很好地适应局部表面区域而不需要多个重叠的高斯，从而大大降低了内存和计算成本。

论文的亮点包括：提出了一种紧凑的高斯表示方法和高效的即时高斯优化方案；设计了三种类型的像素进行高斯优化；将所有高斯分为稳定和不稳定两类，只优化不稳定的高斯，从而大大降低了计算成本；实现了实时重建和相机跟踪；在多个数据集上进行了实验，结果表明相比于现有的RGBD SLAM方法，本文的方法在重建质量、速度和内存成本等方面都有所提升。

在这个领域中，最近的相关研究包括：NeRF-based RGBD SLAM等。