3DGSR: Implicit Surface Reconstruction with 3D Gaussian Splatting

本文提出了一种使用三维高斯喷洒（3DGS）的隐式表面重建方法，称为3DGSR，该方法允许在继承3DGS高效率和渲染质量的同时进行准确的三维重建，并具有复杂的细节。关键的见解是将隐式符号距离场（SDF）与三维高斯结合起来，以便它们可以对齐和共同优化。首先，我们介绍了一个可微的SDF到不透明度转换函数，将SDF值转换为相应的高斯不透明度。这个函数连接了SDF和三维高斯，允许统一优化，并在三维高斯上强制表面约束。在学习过程中，优化三维高斯为SDF学习提供了监督信号，从而实现了复杂细节的重建。然而，这仅为高斯占据位置提供了稀疏的监督信号，这对于学习连续的SDF是不足够的。然后，为了解决这个限制，我们结合了体积渲染，并将渲染的几何属性（深度、法线）与从三维高斯派生的属性对齐。这种一致性正则化为没有被离散三维高斯覆盖的位置提供了监督信号，有效地消除了高斯采样范围之外的冗余表面。我们广泛的实验结果表明，我们的3DGSR方法在保留3DGS高效率和渲染质量的同时，实现了高质量的三维表面重建。此外，我们的方法在提供更高效的学习过程和更好的渲染质量的同时，与领先的表面重建技术竞争。代码将在https://github.com/CVMI-Lab/3DGSR上提供。

本文旨在提出一种能够在保持3D高效性和渲染质量的同时，实现具有复杂细节的准确3D重建的方法。同时，通过联合优化3D高斯函数和隐式有符号距离场，实现了对3D高斯函数表面约束的强制执行。

本文的关键思路是将隐式有符号距离场与3D高斯函数相结合，并通过可微的SDF转不透明度函数来连接SDF和3D高斯函数，从而实现了联合优化和表面约束。此外，通过体积渲染和与3D高斯函数导出的几何属性的对齐，引入了对未被离散3D高斯函数覆盖的位置的监督信号，有效地消除了高斯采样范围之外的冗余表面。

本文的方法能够实现高质量的3D表面重建，同时保持3D高效性和渲染质量。实验使用了多个数据集进行验证，并且开源了代码。与其他表面重建技术相比，本文的方法具有更高的效率和更好的渲染质量。值得进一步研究的工作包括如何进一步提高重建质量以及如何将该方法应用于实际应用中。

在最近的研究中，也有一些关于3D表面重建的相关研究，如《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》、《Pixel2Mesh: Generating 3D Mesh Models from Single RGB Images》等。