SemGauss-SLAM: Dense Semantic Gaussian Splatting SLAM

我们提出了SemGauss-SLAM，这是第一个利用3D高斯表示的语义SLAM系统，可以实时实现准确的3D语义地图、强健的相机跟踪和高质量渲染。在这个系统中，我们将语义特征嵌入到3D高斯表示中，有效地将语义信息编码到环境的空间布局中，以实现精确的语义场景表示。此外，我们提出了特征级损失来更新3D高斯表示，使得3D高斯优化可以得到更高级别的指导。此外，为了减少累积漂移并提高重建精度，我们引入了语义信息的束调整，利用语义关联进行3D高斯表示和相机姿态的联合优化，从而实现更强健的跟踪和一致的建图。我们的SemGauss-SLAM方法在Replica和ScanNet数据集上在地图和跟踪精度方面表现出比现有的密集语义SLAM方法更优异的性能，同时在新视角语义合成和3D语义建图方面也表现出极佳的能力。

本论文旨在解决SLAM中的语义建图问题，提出了一种基于3D高斯表示的语义SLAM系统，旨在实现精确的3D语义建图、鲁棒的相机跟踪和高质量的实时渲染。

本文的关键思路是将语义特征嵌入到3D高斯表示中，将语义信息有效地编码到环境的空间布局中，以实现精确的3D语义场景表示。此外，还提出了特征级损失用于更新3D高斯表示，实现更高层次的3D高斯优化引导。此外，还引入了基于语义信息的捆绑调整，以减少累积漂移并提高重建精度，从而实现更强大的跟踪和一致的建图。

本文的亮点包括：1.提出了一种基于3D高斯表示的语义SLAM系统，实现了精确的3D语义建图、鲁棒的相机跟踪和高质量的实时渲染；2.引入了特征级损失用于更新3D高斯表示，实现更高层次的3D高斯优化引导；3.引入了基于语义信息的捆绑调整，以减少累积漂移并提高重建精度；4.在Replica和ScanNet数据集上进行了实验，证明了本文方法在建图和跟踪精度上优于现有的密集语义SLAM方法；5.本文方法在新视角语义合成和3D语义建图方面也表现出了出色的能力。

最近在这个领域中的相关研究包括：1. DenseFusion: 一种基于深度学习的稠密物体跟踪和重建方法；2. SemanticFusion: 一种基于语义分割的SLAM方法；3. 3DMV: 一种基于多视角几何的3D语义重建方法。