Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo

我们提出了MVSGaussian，这是一种新的可推广的三维高斯表示方法，源自多视角立体成像（MVS），可以高效地重建未见过的场景。具体来说，1）我们利用MVS对几何感知的高斯表示进行编码，并将其解码为高斯参数。2）为了进一步提高性能，我们提出了一种混合高斯渲染方法，将有效的体积渲染设计与新视角合成相结合。3）为了支持快速的特定场景微调，我们引入了一种多视角几何一致性聚合策略，有效地聚合了通用模型生成的点云，作为每个场景优化的初始化。与以前的通用NeRF-based方法相比，通常需要几分钟的微调和每个图像几秒钟的渲染时间，MVSGaussian实现了实时渲染，并且每个场景的合成质量更好。与基本的3D-GS相比，MVSGaussian具有更少的训练计算成本，实现了更好的视角合成。在DTU、Real Forward-facing、NeRF Synthetic和Tanks and Temples数据集上进行的大量实验验证了MVSGaussian具有令人信服的通用性、实时渲染速度和快速的每个场景优化，达到了最先进的性能水平。

本论文旨在提出一种新的通用三维高斯表示方法，名为MVSGaussian，它可以从多视角立体视觉(MVS)中有效地重建未知场景。

论文提出了一种从MVS中获取几何感知高斯表示并将其解码为高斯参数的方法，并提出了一种混合高斯渲染方法，以进一步提高性能。此外，为了支持快速微调特定场景，论文引入了一种多视角几何一致性聚合策略。

论文在DTU、Real Forward-facing、NeRF Synthetic和Tanks and Temples数据集上进行了广泛实验，证明了MVSGaussian具有最先进的性能、令人信服的通用性、实时渲染速度和快速的场景优化。此外，论文提供了开源代码。

最近在这个领域中，一些相关的研究包括NeRF、GRAF、PIFu、D-NeRF等。