I$^2$-SLAM: Inverting Imaging Process for Robust Photorealistic Dense SLAM

我们提出了一种反向图像生成模块，可以增强现有视觉SLAM管道对非正式捕获场景的鲁棒性。非正式的视频捕捉通常受到运动模糊和外观变化的影响，这会降低连贯的三维视觉表示的最终质量。我们建议将物理成像集成到SLAM系统中，该系统使用线性HDR辐射图收集测量数据。具体而言，单个帧聚合了沿摄像机轨迹的多个姿态的图像，以解释手持视频中普遍存在的运动模糊。此外，我们通过为图像形成步骤专门分配显式变量，即白平衡、曝光时间和相机响应函数，来适应每帧外观变化。通过联合优化其他变量，SLAM管道可以产生更准确的轨迹和高质量的图像。广泛的实验表明，我们的方法可以与最近的视觉SLAM管道结合使用，包括神经辐射场或高斯喷洒等各种场景表示。

本论文旨在提出一种逆图像形成模块，以增强现有的视觉SLAM管道对于非正式捕获场景的鲁棒性。这些场景通常受到运动模糊和外观变化的影响，从而降低了连贯的三维视觉表示的最终质量。

论文提出将物理成像集成到SLAM系统中，利用线性HDR辐射度图收集测量数据。通过联合优化额外的变量，SLAM管道可以产生更精确的轨迹和高质量的图像。

论文的亮点包括：使用线性HDR辐射度图收集测量数据；通过联合优化额外的变量来产生更精确的轨迹和高质量的图像；实验结果表明，该方法可以应用于使用各种场景表示的最新视觉SLAM管道，例如神经辐射场或高斯点插值。

在这个领域中，最近的相关研究包括：《Neural Radiance Fields for Unconstrained Photo Collections》、《Gaussian Process Implicit Surfaces》、《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》等。