MM-Gaussian: 3D Gaussian-based Multi-modal Fusion for Localization and Reconstruction in Unbounded Scenes

本文介绍了一种用于无界场景定位和建图的LiDAR-相机多模态融合系统MM-Gaussian。由于无界环境的特殊性质，定位和建图是自主车辆和机器人等各种应用的关键任务，而本文提出的方法受到最近开发的3D高斯模型的启发，具有出色的高渲染质量和快速渲染速度。具体而言，我们的系统充分利用了固态LiDAR提供的几何结构信息，以解决仅依靠视觉解决方案在无界室外场景中遇到的深度不准确的问题。此外，我们利用3D高斯点云，并借助像素级梯度下降，充分利用照片中的颜色信息，从而实现逼真的渲染效果。为了进一步增强系统的鲁棒性，我们设计了一个重新定位模块，以帮助在定位失败的情况下返回正确的轨迹。在多种场景下进行的实验表明了我们方法的有效性。

本论文旨在解决在无界场景下的定位和建图问题，特别是针对户外环境的挑战性问题，如何在不确定的环境中实现高精度的定位和建图。

本文提出了一种基于LiDAR-相机多模态融合的MM-Gaussian系统，利用LiDAR提供的几何结构信息解决仅依靠视觉解决方案时遇到的深度不准确的问题，并利用3D高斯点云和像素级梯度下降来充分利用照片中的颜色信息，从而实现逼真的渲染效果。此外，还设计了一个重新定位模块，以在定位失败时帮助返回正确的轨迹。

本文的实验表明了该方法的有效性，并且该方法具有很强的鲁棒性。论文还提供了使用的数据集和开源代码等细节，为该领域的后续研究提供了有价值的参考。

在该领域的相关研究还包括：《A Survey of Localization for Mobile Robots Using Laser Range Finders》、《Visual-LiDAR Odometry and Mapping: Low-Drift, Robust, and Fast》等。