MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements

同时定位和地图绘制对于位置跟踪和场景理解至关重要。基于3D高斯的地图表示可以使用多个姿态摄像头实现逼真的重建和实时渲染场景。我们首次展示，使用3D高斯进行地图表示，结合未定位相机图像和惯性测量可以实现准确的SLAM。我们的方法，MM3DGS，通过实现更快的渲染、尺度感知和改进的轨迹跟踪，解决了以前基于神经辐射场表示的方法的局限性。我们的框架使用包括预积分惯性测量、深度估计和光度渲染质量测量在内的损失函数，实现基于关键帧的映射和跟踪。我们还发布了一个多模态数据集UT-MM，该数据集由配备相机和惯性测量单元的移动机器人收集。对数据集中的几个场景进行的实验评估表明，MM3DGS相对于当前3DGS SLAM技术的最新成果，实现了3倍的跟踪改进和5%的光度渲染质量改进，同时允许高分辨率密集3D地图的实时渲染。项目网页：https://vita-group.github.io/MM3DGS-SLAM。

本论文旨在解决SLAM中的定位和建图问题，通过使用3D高斯地图表示实现准确的SLAM。同时，论文还试图解决基于神经辐射场表示方法的局限性，提出了一种新的方法MM3DGS。

论文提出了一种基于3D高斯地图表示的SLAM方法MM3DGS，该方法利用未定位相机图像和惯性测量实现了准确的SLAM，同时提高了渲染速度、尺度感知和轨迹跟踪精度。

论文提出的MM3DGS方法在多个场景的实验中均取得了较好的效果，相比当前3D高斯地图表示方法，提高了3倍的跟踪精度和5%的渲染质量，同时实现了高分辨率稠密3D地图的实时渲染。论文还公开了一个多模态数据集UT-MM，并提供了开源代码。

近期相关研究包括基于神经辐射场表示的SLAM方法，如NeRF-SLAM和Atlas-SLAM。