GSPR: Multimodal Place Recognition Using 3D Gaussian Splatting for Autonomous Driving

地点识别是确保自主车辆在GPS无法使用的环境中获得可用定位信息的关键模块。近年来，由于多模态地点识别方法可以利用不同模态的互补信息克服单模态传感器系统的弱点，因此受到越来越多的关注。然而，必须跨模态协调数据并充分利用它们之间的时空相关性，这也带来了挑战。在本文中，我们提出了一种基于三维高斯喷洒的多模态地点识别神经网络GSPR。它将多视角RGB图像和LiDAR点云显式地结合成一个时空统一的场景表示，利用所提出的多模态高斯喷洒技术。该网络由三维图卷积和变换器组成，用于从高斯场景中提取高级时空特征和全局描述符以进行地点识别。我们在nuScenes数据集上评估了我们的方法，实验结果表明，我们的方法可以有效地利用多视角相机和LiDAR的互补优势，在保持坚实的泛化能力的同时实现了SOTA地点识别性能。我们的开源代码可在https://github.com/QiZS-BIT/GSPR 上获得。

本文旨在解决自动驾驶车辆在GPS信号不可用的环境下获取可用的定位信息的问题，通过多模态场景识别方法来利用不同传感器的互补信息。

论文提出了一种基于3D高斯喷洒的多模态场景识别神经网络（GSPR），将多视角RGB图像和LiDAR点云显式地结合成一个时空统一的场景表示，并采用由3D图卷积和Transformer组成的网络来提取高级的时空特征和全局描述符。

本文的亮点在于提出了一种新的多模态场景识别方法，并在nuScenes数据集上进行了评估，证明了该方法可以有效地利用多视角摄像机和LiDAR的互补优势，在保持良好的泛化能力的同时实现了SOTA的场景识别性能。此外，作者还提供了开源代码。

最近的相关研究包括基于深度学习的场景识别方法，以及利用多种传感器进行场景识别的多模态方法，如Multi-Modal CNN、MMF等。