Visual Localization in 3D Maps: Comparing Point Cloud, Mesh, and NeRF Representations

本论文介绍并评估了一种跨模态全局视觉定位系统，该系统可以使用视觉和激光雷达感知构建的彩色3D地图表示在其中定位摄像机图像。我们提出了三种不同的创建彩色3D地图的最先进方法：点云、网格和神经辐射场（NeRF）。我们的系统使用这些表示构建了一个合成的RGB和深度图像对数据库。该数据库作为全局定位的基础。我们提出了一种自动方法，通过合成场景的新图像并利用不同表示中编码的3D结构来构建此数据库。接下来，我们提出了一种全局定位系统，该系统依赖于合成图像数据库来准确估计单目查询图像的6自由度相机姿态。我们的定位方法依赖于不同的基于学习的全局描述符和特征检测器，这些描述符和检测器使得尽管查询相机图像和合成数据库图像之间存在域间差异，也能实现强大的图像检索和匹配。我们通过在室内和室外环境中进行广泛的实际实验来评估系统的性能，以评估每种地图表示的有效性以及与传统的结构运动定位方法相比的优势。我们的结果表明，所有三种地图表示都可以在各种环境中实现一致的定位成功率达55%及以上。NeRF合成图像表现出卓越的性能，将查询图像定位的平均成功率提高到72%。此外，我们证明了我们的合成数据库即使在捕获地图创建数据和定位序列时相反方向行驶时也能实现全局定位。我们的系统在配备GPU的移动笔记本电脑上实时运行，处理速度为1Hz。

论文介绍和评估了一种跨模态全局视觉定位系统，能够使用视觉和激光雷达感知构建的彩色3D地图来定位相机图像。论文旨在解决单目相机图像定位的问题。

论文提出了一种基于合成图像数据库的全局定位系统，能够通过学习全局描述符和特征检测器来实现鲁棒的图像检索和匹配，从而实现单目相机图像的准确定位。

论文采用点云、网格和神经辐射场三种不同的地图表示方法，构建了一个合成RGB和深度图像对数据库，用于全局定位。实验表明，三种地图表示方法都可以在不同环境下实现一致的定位成功率，其中神经辐射场合成图像表现最好。论文还演示了合成数据库能够实现全局定位，即使地图创建数据和定位序列是在相反方向行驶时捕获的。论文实验采用了室内和室外数据集，并在移动笔记本电脑上实时运行，处理速率为1Hz。

最近在这个领域中，还有一些相关的研究，如基于深度学习的视觉定位方法，以及基于结构从运动的定位方法。