NIS-SLAM: Neural Implicit Semantic RGB-D SLAM for 3D Consistent Scene Understanding

近年来，神经隐式表示范式在同时定位和地图构建（SLAM）领域引起了广泛关注。然而，在场景理解方面，现有方法存在明显的差距。本文介绍了NIS-SLAM，一种高效的神经隐式语义RGB-D SLAM系统，利用预训练的二维分割网络学习一致的语义表示。具体来说，为了实现高保真的表面重建和空间一致的场景理解，我们将高频多分辨率基于四面体的特征和低频位置编码组合作为隐式场景表示。此外，为了解决多视角下二维分割结果的不一致性，我们提出了一种融合策略，将先前的非关键帧的语义概率集成到关键帧中，以实现一致的语义学习。此外，我们实现了基于置信度的像素采样和渐进优化权重函数，以实现强大的相机跟踪。对各种数据集的广泛实验结果表明，与其他现有的神经密集隐式RGB-D SLAM方法相比，我们的系统具有更好或更具竞争力的性能。最后，我们还展示了我们的方法可以用于增强现实应用。项目页面：\href{https://zju3dv.github.io/nis_slam}{https://zju3dv.github.io/nis\_slam}。

该论文旨在解决SLAM领域中神经隐式表示范式在场景理解方面存在的缺陷，提出了一种利用预训练的2D分割网络学习一致语义表示的高效神经隐式语义RGB-D SLAM系统。

该论文的关键思路是将高频多分辨率四面体特征和低频位置编码相结合作为隐式场景表示，结合融合策略和基于置信度的像素采样和渐进优化权重函数来实现一致的语义学习和鲁棒的相机跟踪。

论文使用了多个数据集进行了广泛的实验，证明了该系统相比其他现有的神经密集隐式RGB-D SLAM方法具有更好或更具竞争力的性能。此外，该系统还可以用于增强现实应用，项目页面提供了开源代码。

与该论文相关的研究包括：Implicit Differentiable Renderer, DeepSDF, DeepMarchingCubes, Occupancy Networks等。