FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting

从有限的观测中合成新视角仍然是一个重要且持久的任务。然而，现有基于NeRF的少样本视角合成技术往往为了获得准确的3D表示而牺牲高效率。为了解决这一挑战，我们提出了一种基于3D高斯喷洒的少样本视角合成框架，可以实现实时和逼真的视角合成，仅需三个训练视角。所提出的方法称为FSGS，通过精心设计的高斯反池化过程处理极为稀疏的初始化SfM点。我们的方法通过迭代在最具代表性的位置周围分布新的高斯函数，随后在空缺区域填充局部细节。我们还在高斯优化过程中整合了大规模预训练的单目深度估计器，利用在线增强视角来引导几何优化朝着最优解方向发展。从有限的输入视角观察到的稀疏点开始，我们的FSGS可以精确地扩展到未见区域，全面覆盖场景并提高新视角的渲染质量。总体而言，FSGS在LLFF、Mip-NeRF360和Blender等不同数据集上实现了最先进的准确性和渲染效率。项目网站：https://zehaozhu.github.io/FSGS/。

如何在极少的训练视角下实现高效的新视角合成？

提出一种基于3D高斯喷洒的少样本视角合成框架FSGS，通过精心设计的高斯反池化过程处理极其稀疏的SfM点，并结合大规模预训练的单目深度估计器进行优化，从而实现高效且逼真的新视角渲染。

FSGS在多个数据集上取得了最先进的性能，包括LLFF、Mip-NeRF360和Blender，具有实时性和照片级别的视角合成能力。论文提供了项目网站和开源代码。

相关研究包括基于NeRF的少样本视角合成方法，如Few-Shot NeRF和PixelNeRF；以及其他基于高斯喷洒的3D重建方法，如Gaussian Voxelization和Gaussian Process Implicit Surfaces。