SGS-SLAM: Semantic Gaussian Splatting For Neural Dense SLAM

语义理解在密集同时定位与建图（SLAM）中起着至关重要的作用，有助于全面解释场景。最近将高斯喷洒（Gaussian Splatting）整合到SLAM系统中的进展已经证明了它通过使用明确的3D高斯表示法在生成高质量渲染方面的有效性。在此进展的基础上，我们提出了SGS-SLAM，这是第一个基于3D高斯的语义密集视觉SLAM系统，它在提供高保真重建的同时提供了精确的3D语义分割。具体而言，我们建议在映射过程中采用多通道优化，将外观、几何和语义约束与关键帧优化相结合，以提高重建质量。广泛的实验表明，SGS-SLAM在相机姿态估计、地图重建和语义分割方面提供了最先进的性能，同时保持实时渲染能力，优于现有方法。

SGS-SLAM论文试图解决的问题是如何在Dense Simultaneous Localization and Mapping (SLAM)中实现语义理解，从而提高场景解释的综合性。这是一个新问题。

SGS-SLAM的解决方案关键思路是将Gaussian Splatting集成到SLAM系统中，通过使用显式的3D高斯表示生成高质量的渲染。同时，利用多通道优化，将外观、几何和语义约束与关键帧优化相结合，提高重建质量，从而实现精确的3D语义分割和高保真度的重建。

SGS-SLAM在相机姿态估计、地图重建和语义分割方面均表现出卓越的性能，优于现有方法，同时保持实时渲染能力。论文提出的方法在多个数据集上进行了广泛的实验，并且开源了代码。

最近在这个领域中，还有一些相关的研究，例如："A Survey of Visual SLAM Based on Deep Learning"，"SemanticFusion: Dense 3D Semantic Mapping with Convolutional Neural Networks"等。