Splatt3R: Zero-shot Gaussian Splatting from Uncalibarated Image Pairs

本文介绍了Splatt3R，一种无需姿态信息的前馈方法，用于从立体图像对中进行野外三维重建和新视角合成。给定未校准的自然图像，Splatt3R可以预测3D高斯Splats，无需任何相机参数或深度信息。为了实现通用性，我们从“基础”三维几何重建方法MASt3R开始，将其扩展为完整的三维结构和外观重建器。具体而言，与仅重建三维点云的原始MASt3R不同，我们预测构成每个点的高斯原始所需的附加高斯属性。因此，与其他新视角合成方法不同，Splatt3R首先通过优化三维点云的几何损失，然后是新视角合成目标进行训练。通过这样做，我们避免了训练立体视图的3D高斯Splats中存在的局部最小值。我们还提出了一种新颖的损失屏蔽策略，经实验证明对于在外推视点上表现强大至关重要。我们在ScanNet ++数据集上训练了Splatt3R，并展示了对未校准的野外图像的出色泛化能力。Splatt3R可以以512 x 512分辨率的4FPS重建场景，结果Splats可以实时渲染。

该论文旨在介绍Splatt3R，一种无需姿态信息的前馈方法，可从立体对中进行野外三维重建和新视图合成。它试图解决在没有相机参数或深度信息的情况下，如何从未经校准的自然图像中预测三维高斯Splats的问题。

该论文提出了一种新的方法，通过扩展MASt3R方法，预测构建每个点的高斯基元所需的附加高斯属性，从而实现了三维结构和外观的重构。然后，通过优化三维点云的几何损失和新视图合成目标，训练Splatt3R，避免了训练立体视图的三维高斯Splats时存在的局部最小值问题。同时，提出了一种新的损失掩码策略，对于推断视点的强大性能至关重要。

该论文使用ScanNet ++数据集进行了训练，并展示了对未经校准的野外图像的出色泛化能力。Splatt3R可以在512 x 512分辨率下以4FPS的速度重建场景，并且生成的Splats可以实时渲染。值得关注的是，该论文提出的方法不需要姿态信息，相比当前领域的研究有很大的创新性。

在最近的相关研究中，一些研究关注于使用深度学习方法进行三维重建和新视图合成，例如DeepStereo、NeRF和IBR-Net等。