VCR-GauS: View Consistent Depth-Normal Regularizer for Gaussian Surface Reconstruction

虽然3D高斯光斑因其逼真和高效的新视角合成而得到广泛研究，但从基于点的表示中提取高质量的表面仍然具有挑战性。先前的研究通过将几何先验信息从现成的法线估计器中引入来改善表面。然而，存在两个主要限制：1）从3D高斯渲染的法线只更新旋转参数，而忽略其他几何参数；2）跨多个视角预测的法线图的不一致性可能导致严重的重建伪影。在本文中，我们提出了一种深度-法线正则化器，直接将法线与其他几何参数耦合，从而从法线正则化中全面更新几何参数。我们进一步提出了一个置信度项来减轻跨多个视角的法线预测不一致性。此外，我们还引入了一种密集化和分裂策略，以正则化3D高斯的大小和分布，以实现更准确的表面建模。实验表明，与基于高斯的基线相比，我们的方法在更快的训练速度和100+ FPS渲染的同时获得更好的重建质量和竞争性外观质量。在论文被接受后，我们的代码将成为开源。

如何从基于点的表示中提取高质量的表面？如何解决预测法线图在多个视角上的不一致性问题？

本文提出了一种直接将法线与其他几何参数耦合的深度-法线正则化器，从而实现从法线正则化的几何参数的完全更新。同时，引入置信度项以减轻多视角下法线预测的不一致性。此外，还提出了一种密集化和分裂策略，以更准确地建模表面。

论文在实验中表明，与基于高斯的基线相比，本文的方法在更快的训练速度和100+ FPS的渲染下获得更好的重建质量并保持竞争性的外观质量。作者将代码开源。

最近的相关研究包括：DeepSDF，Occupancy Networks，IM-NETs等。