SemGauss-SLAM: Dense Semantic Gaussian Splatting SLAM

我们提出了SemGauss-SLAM，这是第一个利用3D高斯表示的语义SLAM系统，可以实现精确的3D语义地图、强大的相机跟踪和高质量的实时渲染。在这个系统中，我们将语义特征嵌入到3D高斯表示中，有效地将语义信息编码到环境的空间布局中，以实现精确的语义场景表示。此外，我们提出了特征级损失来更新3D高斯表示，为3D高斯优化提供更高层次的指导。为了减少累积漂移并提高重建精度，我们引入了语义感知的捆绑调整，利用语义关联进行3D高斯表示和相机姿态的联合优化，从而实现更强大的跟踪和一致的地图构建。我们的SemGauss-SLAM方法在Replica和ScanNet数据集上的地图和跟踪精度方面表现优于现有的密集语义SLAM方法，同时也展现了出色的新视角语义合成和3D语义地图能力。

本文旨在解决SLAM中的语义建图问题，提出了一种基于3D高斯表示的语义SLAM系统SemGauss-SLAM。

SemGauss-SLAM将语义特征嵌入到3D高斯表示中，实现了精确的语义场景表示。同时，引入了特征级损失和语义信息的打包调整，提高了建图和跟踪的精度和鲁棒性。

实验表明，SemGauss-SLAM在Replica和ScanNet数据集上的建图和跟踪精度优于现有的密集语义SLAM方法。此外，SemGauss-SLAM还表现出出色的新视角语义合成和3D语义建图能力。

近期的相关研究包括：DeepSLAM、ORB-SLAM、LSD-SLAM等。