LIV-GaussMap: LiDAR-Inertial-Visual Fusion for Real-time 3D Radiance Field Map Rendering

我们介绍了一种集成精确LiDAR、惯性和视觉（LIV）多模式传感器融合制图系统，该系统建立在可微分表面点云投影的基础上，以提高地图的保真度、质量和结构精度。值得注意的是，这也是一种新型的紧密耦合的LiDAR-视觉-惯性传感器融合地图形式。 该系统利用LiDAR和视觉数据的互补特性，捕捉大规模3D场景的几何结构，并以高保真度恢复它们的视觉表面信息。使用大小自适应的体素，通过LiDAR-惯性系统获取表面高斯场的初始姿态。然后，我们通过视觉导出的光度梯度对高斯场进行优化和细化，以优化LiDAR测量的质量和密度。 我们的方法与各种类型的LiDAR兼容，包括固态和机械LiDAR，支持重复和非重复扫描模式，通过LiDAR加强结构构建，促进跨多种LIV数据集的实时光真实渲染生成。它展示了在数字孪生和虚拟现实领域中生成实时光真实场景的显着韧性和多功能性，同时在实时SLAM和机器人领域具有潜在的适用性。 我们在Github\footnote[3]{https://github.com/sheng00125/LIV-GaussMap}上发布了我们的软件、硬件和自收集数据集，以造福社区。

本论文旨在解决多模态传感器融合中的高精度三维建图问题，提出了一种基于可微分表面点云技术的LiDAR-惯性-视觉（LIV）传感器融合的紧密耦合映射系统。

该系统利用LiDAR和视觉数据的互补特性，通过可微分表面点云技术提高建图的保真度、质量和结构精度，并通过视觉梯度优化和改进高斯场，进一步提高建图质量。

该方法适用于各种类型的LiDAR，支持重复和非重复扫描模式，可以实时生成逼真的场景，具有潜在的应用价值，如数字孪生和虚拟现实，以及实时SLAM和机器人领域。作者在Github上公开了软件、硬件和自采集数据集。

近期相关研究包括：1. Multi-modal Sensor Fusion for 3D Object Detection: A Review (2021); 2. Deep LiDAR Odometry and Mapping for Autonomous Flight of Quadrotors (2021); 3. Visual-Inertial-LiDAR Odometry and Mapping: A Review (2020).