Wild-GS: Real-Time Novel View Synthesis from Unconstrained Photo Collections

摄于非结构化旅游环境中的照片经常呈现出不同的外观和瞬时遮挡，这对于精确的场景重建和新视角综合会产生影响。虽然之前的方法已经将神经辐射场（NeRF）与其他可学习模块相结合，以处理动态外观和消除瞬时物体，但是它们的训练需求和渲染速度缓慢限制了实际应用。最近，三维高斯喷洒（3DGS）作为NeRF的一种有前途的替代方案出现，它提供了更高效的训练和推理效率以及更好的渲染质量。本文提出了Wild-GS，这是一种创新的3DGS适应性方法，针对无约束的照片集进行了优化，同时保留了它的效率优势。Wild-GS通过固有材料属性、全局照明和每个图像的相机属性以及反射率的点级局部方差来确定每个三维高斯的外观。与先前在图像空间中建模参考特征的方法不同，Wild-GS通过采样从参考图像提取的三平面明确地将像素外观特征与相应的局部高斯对齐。这种新颖的设计有效地将参考视图的高频详细外观转移到三维空间，并显著加快了训练过程。此外，利用二维可见性图和深度正则化来减轻瞬时效应并约束几何形状。广泛的实验表明，Wild-GS在所有现有技术中实现了最高效的训练和推理效率，并实现了最先进的渲染性能。

论文旨在解决在非结构化的旅游环境中重建场景和合成新视角时遇到的挑战，如变化的外观和短暂的遮挡。

论文提出了一种基于3D高斯喷洒（3D Gaussian Splatting）的新方法，称为Wild-GS，用于处理非结构化的照片集合，同时保持高效性。

论文的亮点包括：1.使用物质属性，全局照明和相机属性以及反射率的点级局部方差来确定每个3D高斯的外观；2.通过采样从参考图像提取的三平面，将像素外观特征明确对齐到相应的局部高斯；3.使用2D可见性图和深度正则化来减轻短暂效应并约束几何形状；4.在实验中，Wild-GS表现出了最高的训练和推理效率以及最先进的渲染性能。

与此相关的研究包括Neural Radiance Field（NeRF）和其他使用可学习模块来处理动态外观和消除短暂对象的方法。