InstantSplat: Unbounded Sparse-view Pose-free Gaussian Splatting in 40 Seconds

尽管新视角合成（NVS）在三维计算机视觉方面取得了实质性进展，但通常需要从密集视点对相机内参和外参进行初始估计。这种预处理通常通过结构光流（SfM）管道进行，这种过程可能很慢且不可靠，特别是在稀疏视图场景下，由于匹配特征不足以进行准确重建。在这项工作中，我们将基于点的表示（例如，3D高斯喷洒，3D-GS）的优点与端到端的密集立体模型（DUSt3R）相结合，以解决NVS在不受约束的情况下的复杂但未解决的问题，其中包括无姿态和稀疏视图挑战。我们的框架InstantSplat将密集立体先验与3D-GS结合起来，以在不到1分钟的时间内从稀疏视图和无姿态图像中构建大规模场景的3D高斯。具体而言，InstantSplat包括一个粗略几何初始化（CGI）模块，该模块利用预训练的密集立体管道派生的全局对齐的3D点地图，快速建立所有训练视图的初步场景结构和相机参数。然后，快速3D高斯优化（F-3DGO）模块与姿态正则化一起优化3D高斯属性和初始化姿态。在大规模室外Tanks＆Temples数据集上进行的实验证明，InstantSplat显着提高了SSIM（32％），同时将绝对轨迹误差（ATE）降低了80％。这些结果表明InstantSplat是处理无姿态和稀疏视图条件的可行解决方案。项目页面：instantsplat.github.io。

本论文试图解决在3D计算机视觉中，针对无约束条件下的新视角合成问题，如何在没有密集视角的情况下，快速构建大规模场景的3D高斯表示，并提高合成质量的问题。

论文提出了一个名为InstantSplat的框架，将点云表示和端到端的密集立体模型相结合，快速构建大规模场景的3D高斯表示。InstantSplat包括一个Coarse Geometric Initialization（CGI）模块和一个Fast 3D-Gaussian Optimization（F-3DGO）模块，前者通过全局对齐的3D点映射快速建立初步场景结构和相机参数，后者通过联合优化3D高斯属性和初始化姿态来进一步优化3D高斯表示和视角合成质量。

论文在大规模室外数据集Tanks & Temples上进行了实验，结果表明InstantSplat显著提高了SSIM（32％），同时将绝对轨迹误差（ATE）降低了80％。此外，论文还开源了InstantSplat的代码，并提供了详细的实验分析和结果展示。

在相关研究方面，最近的工作主要集中在点云表示和视角合成方面。例如，PointSetGen和Pixel2Mesh等工作旨在从点云或图像中重建3D模型，而DeepView和NeRF等工作则专注于从密集视角中合成新视角。