Splatt3R: Zero-shot Gaussian Splatting from Uncalibrated Image Pairs

本文介绍了一种名为Splatt3R的姿态自由(feed-forward)方法，用于从立体图像中进行野外三维重建和新视角合成。Splatt3R可以在不需要任何相机参数或深度信息的情况下，预测出三维高斯斑点(Gaussian Splats)。为了提高通用性，我们在MASt3R这个基础三维几何重建方法上构建了Splatt3R，通过扩展MASt3R来处理3D结构和外观。与原始的MASt3R只重建3D点云不同，我们预测了构建每个点的高斯属性，以构建高斯基元(Gaussian primitive)。因此，与其他新视角合成方法不同，Splatt3R首先通过优化3D点云的几何损失来训练，然后是新视角合成目标。通过这样做，我们避免了训练立体视图中的3D高斯斑点时存在的局部最小值。我们还提出了一种新的损失掩码策略，我们在实验中发现这对于在外推视角上表现出强大性能至关重要。我们在ScanNet++数据集上训练了Splatt3R，并展示了对未校准的野外图像的优秀通用性。Splatt3R可以在512 x 512分辨率下以4FPS的速度重建场景，并且可以实时渲染产生的斑点。

该论文旨在提出一种无需姿态信息的方法，从立体图像中预测3D高斯Splats，以实现在野外的3D重建和新视角合成。该方法的目标是提高模型的泛化性能，避免局部最小值。

该论文提出了一种基于MASt3R的方法，通过预测每个点的高斯属性，实现了重建和外观的兼顾。该方法的关键思路是先优化3D点云的几何损失，然后再进行新视角合成目标的优化。

该论文提出了一种新的方法，可以在不需要相机参数或深度信息的情况下进行3D重建和新视角合成。该方法在ScanNet++数据集上进行了训练，并展现了出色的泛化性能。此外，该论文还提出了一种新的损失掩蔽策略，并可以实时渲染Splats。

在这个领域中，还有一些相关的研究正在进行，例如《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》和《PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization》。