Photo-SLAM: Real-time Simultaneous Localization and Photorealistic Mapping for Monocular, Stereo, and RGB-D Cameras

近期，神经渲染和SLAM系统的结合在联合定位和逼真视角重建方面表现出了很好的结果。然而，现有的方法完全依赖于隐式表示，资源消耗巨大，无法在便携设备上运行，这与SLAM的原始意图背道而驰。本文提出了一种新的SLAM框架Photo-SLAM，采用超级基元地图。具体来说，我们同时利用显式几何特征进行定位，并学习隐式光度特征来表示观察环境的纹理信息。除了基于几何特征积极密集化超级基元外，我们还引入了一种基于高斯金字塔的训练方法，逐步学习多层特征，提高逼真映射性能。在单目、双目和RGB-D数据集上进行的广泛实验表明，我们提出的Photo-SLAM系统在在线逼真映射方面显著优于当前最先进的SLAM系统，例如在Replica数据集中，PSNR高出30％，渲染速度快了数百倍。此外，Photo-SLAM可以在嵌入式平台（如Jetson AGX Orin）上实时运行，展示了机器人应用的潜力。

论文旨在解决SLAM系统在使用神经渲染时所面临的资源消耗问题，提出了一种基于超级原语地图的新型SLAM框架Photo-SLAM。

Photo-SLAM框架利用显式几何特征进行定位，并学习隐式的光度特征来表示所观察环境的纹理信息。同时，该框架引入了高斯金字塔训练方法，逐步学习多层特征，提高了逼真的渲染效果。

论文通过在单目、双目和RGB-D数据集上进行广泛实验，证明了Photo-SLAM系统在在线逼真地图制作方面显著优于当前最先进的SLAM系统，例如在Replica数据集上，PSNR高出30％，渲染速度快数百倍。此外，Photo-SLAM可以在嵌入式平台上实时运行，具有潜在的机器人应用。

最近的相关研究包括：1）神经渲染和SLAM系统的集成；2）使用超级原语地图进行SLAM；3）使用高斯金字塔训练方法进行图像处理。