NEDS-SLAM: A Novel Neural Explicit Dense Semantic SLAM Framework using 3D Gaussian Splatting

我们提出了一种基于三维高斯表示的显式密集语义SLAM系统NEDS-SLAM，能够实时实现强大的三维语义映射、精确的相机跟踪和高质量的渲染。在该系统中，我们提出了一种空间一致特征融合模型，以减少预训练分割头误差估计对语义重建的影响，实现了强大的三维语义高斯映射。此外，我们采用轻量级编码器-解码器将高维语义特征压缩成紧凑的三维高斯表示，减轻了过多内存消耗的负担。此外，我们利用三维高斯喷洒的优势，实现了高效可微的新视角渲染，并提出了虚拟相机视图修剪方法来消除异常GS点，从而有效提高了场景表示的质量。我们的NEDS-SLAM方法在Replica和ScanNet数据集上在映射和跟踪精度方面表现出竞争性能，同时在三维密集语义映射方面也表现出优异的能力。

本文提出了一种基于3D高斯表示的显式密集语义SLAM系统NEDS-SLAM，旨在实现鲁棒的3D语义建图、准确的相机跟踪和高质量的实时渲染。该系统解决了密集语义SLAM中预训练分割头的误差影响语义重建的问题，并使用轻量级编码器-解码器将高维语义特征压缩为紧凑的3D高斯表示，进一步减轻了过多的内存消耗。同时，利用3D高斯平铺的优势，实现了高效可微的新视角渲染，并提出了虚拟相机视图修剪方法，有效提高了场景表示的质量。

本文的关键思路是使用3D高斯表示实现鲁棒的3D语义建图、准确的相机跟踪和高质量的实时渲染，并提出了空间一致性特征融合模型，以减少预训练分割头的误差对语义重建的影响。此外，使用轻量级编码器-解码器将高维语义特征压缩为紧凑的3D高斯表示，进一步减轻了过多的内存消耗。利用3D高斯平铺的优势，实现了高效可微的新视角渲染，并提出了虚拟相机视图修剪方法，有效提高了场景表示的质量。

本文提出的NEDS-SLAM方法在Replica和ScanNet数据集上表现出了与现有密集语义SLAM方法相比更高的建图和跟踪精度，同时在3D密集语义建图方面也表现出了出色的性能。实验设计详细，使用了多个数据集进行验证，同时提供了开源代码。值得进一步深入研究的是如何将该方法应用于实际场景中，并进一步提高其实时性能。

在该领域的相关研究包括：1. DenseSurfelMapping：一种基于密集表面元素的实时SLAM系统；2. SemanticFusion：一种将语义信息与3D重建相结合的方法；3. DeepSDF：一种使用深度学习进行3D形状重建的方法。