CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians

过去几年中，从图像中进行三维重建的领域迅速发展，首先是引入了神经辐射场（NeRF），最近又出现了三维高斯喷洒（3DGS）。后者在训练和推理速度以及重建质量方面比NeRF有显著优势。虽然3DGS对于密集输入图像效果很好，但是对于极其稀疏的输入图像（例如3张图像），无结构的点云表示很快就会过度拟合，从新视角看来会呈现出一堆针的混乱形态。为了解决这个问题，我们提出了规则化优化和基于深度的初始化。我们的关键思想是引入一个可以在2D图像空间中控制的结构化高斯表示法。然后我们通过约束高斯函数（特别是它们的位置），防止它们在优化过程中独立移动。具体来说，我们通过隐式卷积解码器和总变差损失分别引入单视图和多视图约束。通过为高斯函数引入一致性，我们通过基于流的损失函数进一步约束优化过程。为了支持我们的规则化优化，我们提出了一种方法，使用每个输入视图的单目深度估计来初始化高斯函数。我们在各种场景中展示了与基于稀疏视图的NeRF方法相比的显著改进。

本文旨在解决3D重建中极度稀疏输入图像的问题，通过引入结构化高斯表示并控制其在2D图像空间中的位置，通过单视图和多视图约束以及流基损失函数进行正则化优化，以及使用单目深度估计初始化高斯分布，提高3D重建的准确性。

本文的关键思路是引入结构化高斯表示，并通过单视图和多视图约束以及流基损失函数进行正则化优化，以及使用单目深度估计初始化高斯分布，提高3D重建的准确性。

本文使用了3D Gaussian Splatting（3DGS）进行3D重建，并解决了在极度稀疏输入图像下的问题。通过引入结构化高斯表示，并控制其在2D图像空间中的位置，通过单视图和多视图约束以及流基损失函数进行正则化优化，以及使用单目深度估计初始化高斯分布，提高了3D重建的准确性。实验结果表明，与当前领域内的稀疏视图 NeRF-based 方法相比，本文提出的方法在各种场景下都取得了显著的改进。

与本文相关的研究包括Neural Radiance Field（NeRF）和其他3D重建方法，如DeepSDF、Implicit Field、Point Clouds等。