MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images

我们提出了MVSplat，一种有效的前馈3D高斯喷溅模型，该模型是从稀疏的多视图图像中学习得到的。为了准确地定位高斯中心，我们建议通过在3D空间中进行平面扫描来构建成本体积表示，其中存储在成本体积中的跨视图特征相似性可以为深度估计提供有价值的几何线索。我们联合学习高斯基元的不透明度、协方差和球谐系数，同时仅依靠光度监督来学习高斯中心。通过广泛的实验评估，我们展示了成本体积表示在学习前馈高斯喷溅模型中的重要性。在大规模的RealEstate10K和ACID基准测试中，我们的模型实现了最先进的性能，具有最快的前馈推理速度（22 fps）。与最新的最先进方法pixelSplat相比，我们的模型使用的参数少了10倍，推理速度快了2倍以上，同时提供更高的外观和几何质量以及更好的跨数据集泛化性。

本论文旨在提出一种高效的前馈3D高斯Splatting模型，通过稀疏的多视角图像进行学习，以解决3D场景重建的问题。

本文提出了通过在3D空间中进行平面扫描构建代价体表示，从而准确定位高斯中心，并通过代价体中存储的跨视图特征相似性提供有价值的几何线索来估计深度的方法。

本文的亮点包括：1.使用代价体表示来学习前馈高斯Splatting模型，实现了最快的前馈推理速度（22 fps）；2.相比最新的最先进方法pixelSplat，本文模型使用的参数更少（少10倍），推理速度更快（超过2倍），同时提供更高的外观和几何质量以及更好的跨数据集泛化性能；3.在RealEstate10K和ACID数据集上，本文模型实现了最先进的性能。

在这个领域中，最近的相关研究包括pixelSplat、DeepSDF、OccNet等。