Splatfacto-W: A Nerfstudio Implementation of Gaussian Splatting for Unconstrained Photo Collections

本文中，我们介绍了一种名为Splatfacto-W的方法，它将每个高斯神经颜色特征和每个图像外观嵌入集成到光栅化过程中，并采用基于球谐函数的背景模型来表示不同的光度外观和更好地描绘背景。我们的主要贡献包括潜在外观建模、高效的瞬态物体处理和精确的背景建模。在野外场景中，Splatfacto-W提供了高质量、实时的新视角合成，改善了场景一致性。我们的方法相比于3DGS，平均提高了5.3 dB的峰值信噪比（PSNR），相比于基于NeRF的方法，提高了150倍的训练速度，并且实现了与3DGS相似的渲染速度。我们还提供了额外的视频结果和集成到Nerfstudio的代码，网址为https://kevinxu02.github.io/splatfactow/。

本论文旨在解决从无约束的野外图像集合中进行新视角合成的问题，包括光度变化和瞬时遮挡等挑战。

论文提出了Splatfacto-W方法，该方法将每个高斯神经颜色特征和每个图像外观嵌入集成到光栅化过程中，并使用基于球谐函数的背景模型来表示不同的光度外观和更好地描绘背景。Splatfacto-W提供了高质量、实时的新视角合成，并在野外场景中提高了场景一致性。

论文的亮点包括隐式外观建模、有效的瞬时物体处理和精确的背景建模。实验表明，相比于3DGS，Splatfacto-W的峰值信噪比（PSNR）平均提高了5.3 dB，训练速度比基于NeRF的方法提高了150倍，并且达到了与3DGS相似的渲染速度。论文提供了额外的视频结果和集成到Nerfstudio的开源代码。

在最近的相关研究中，也有一些关于新视角合成的方法，例如NeRF、3DGS等。