WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections

我们提出了一种基于点的可微渲染框架，用于从照片集合中重建场景。这种框架在3D高斯点扩散（3DGS）的基础上构建，可以适应不同的光照条件和光度后处理。我们的关键创新是一种基于残差的球面谐波系数转移模块，可以将3DGS适应于不同的光照条件和光度后处理。此外，我们发现外观编码器和瞬态掩模预测器是从无约束照片集合中进行新视角合成的两个最关键的部分，它们可以相互受益。我们引入了一种轻量级的空间注意力模块，可以同时预测每个图像的瞬态遮挡物和潜在外观表示。经过训练和预处理，我们的方法与标准的3DGS格式和渲染流程相对应，可以无缝地集成到各种3DGS应用程序中。在各种数据集上的广泛实验表明，我们的方法在新视角和外观合成的渲染质量、收敛速度和渲染速度方面优于现有方法。

本论文旨在解决从非约束性照片集合中进行新视角合成的问题，并提出了一种基于点的可微分渲染框架。

本论文的关键思路是使用基于残差的球谐系数传输模块来适应不同的光照条件和光度后处理，并引入轻量级的空间注意力模块来同时预测瞬态遮挡器和每个图像的潜在外观表示。

本论文的亮点包括使用基于点的不同iable渲染框架，引入残差球谐系数传输模块，同时预测瞬态遮挡器和潜在外观表示，以及在各种数据集上的实验表明，本方法在新视角和外观合成的渲染质量方面优于现有方法。

最近在这个领域中，还有一些相关的研究，如《Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes》和《DeepVoxels: Learning Persistent 3D Feature Embeddings》。