VINGS-Mono: Visual-Inertial Gaussian Splatting Monocular SLAM in Large Scenes

VINGS-Mono 是一个专为大型场景设计的单目（惯性）高斯点绘（GS）SLAM框架。该框架包含四个主要组件：VIO前端、2D高斯地图、NVS回环闭合和动态擦除器。在VIO前端，RGB帧通过密集束调整和不确定性估计进行处理，以提取场景几何结构和姿态。基于此输出，建图模块增量地构建和维护一个2D高斯地图。2D高斯地图的关键组件包括基于样本的光栅化器、评分管理器和姿态优化器，这些组件共同提高了建图速度和定位精度。这使得SLAM系统能够处理包含多达5000万个高斯椭球的大规模城市环境。 为了确保大规模场景中的全局一致性，我们设计了一个回环闭合模块，创新性地利用了高斯点绘的新型视图合成（NVS）能力来进行回环检测和高斯地图的校正。此外，我们提出了一种动态擦除器来应对现实世界户外场景中不可避免的动态物体。在室内外环境中的广泛评估表明，我们的方法在定位性能上与视觉-惯性里程计相当，同时超越了最近的GS/NeRF SLAM方法。在建图和渲染质量方面，它也显著优于所有现有方法。此外，我们开发了一款移动应用程序，并验证了仅使用智能手机摄像头和低频IMU传感器，我们的框架可以实时生成高质量的高斯地图。 据我们所知，VINGS-Mono是第一个能够在户外环境中运行并支持公里级大规模场景的单目高斯SLAM方法。

VINGS-Mono旨在解决在大场景，尤其是户外环境中使用单目相机和惯性测量单元（IMU）进行高精度实时定位和地图构建的问题。这不仅涉及处理大规模场景中的几何结构和姿态估计，还需应对动态物体的存在以及确保全局一致性。这是一个相对较新的问题，特别是在将Gaussian Splatting技术应用于SLAM框架中，并且支持千米级大场景的单目SLAM方法尚未有先例。

VINGS-Mono的关键思路在于结合了视觉-惯性里程计前端、2D Gaussian Map、NVS Loop Closure和Dynamic Eraser四个模块，通过密集束调整和不确定性估计来提取场景几何和姿态，利用样本化光栅化、评分管理和姿态精化来构建和维护2D Gaussian Map，创新地使用Novel View Synthesis进行回环检测以确保全局一致性，并引入Dynamic Eraser处理动态物体。这一方法相比现有研究，在单目条件下实现了对大场景的支持，同时保持了较高的定位精度和地图质量。

该研究展示了在室内和室外环境下的广泛评估，证明其定位性能与视觉-惯性里程计相当，超越了最近的GS/NeRF SLAM方法，并在地图和渲染质量上显著优于所有现有方法。此外，开发了一个移动应用程序，验证了仅用智能手机摄像头和低频IMU传感器即可实时生成高质量Gaussian地图的能力。值得注意的是，这项工作开源了代码，提供了实验数据集，为未来的研究提供了宝贵的资源。

近期相关研究包括《Gaussian Splatting for Real-Time Rendering of Point Clouds》、《NeRF-SLAM: Neural Radiance Fields for SLAM in Dynamic Environments》等。这些研究主要集中在提高SLAM系统的鲁棒性和扩展性，特别是在处理动态环境和大规模场景方面。VINGS-Mono的独特之处在于它是首个针对千米级大场景的单目Gaussian SLAM方法，填补了这一领域的空白。