NeuSG: Neural Implicit Surface Reconstruction with 3D Gaussian Splatting Guidance

现有的神经隐式表面重建方法通过利用深度图或点云等显式几何先验作为正则化，在多视角3D重建中实现了令人印象深刻的性能。然而，由于深度图过度平滑或点云稀疏，重建结果仍然缺乏细节。在这项工作中，我们提出了一种神经隐式表面重建流程，借助3D高斯喷洒的指导，以恢复高度详细的表面。 3D高斯喷洒的优点在于它可以生成具有详细结构的密集点云。然而，直接采用3D高斯喷洒可能会失败，因为生成的点是3D高斯函数的中心，不一定位于表面上。因此，我们引入了一个尺度正则化器，通过强制3D高斯函数非常薄，将中心点拉近表面。此外，我们提出使用神经隐式模型预测的表面法向量优化3D高斯喷洒生成的点云，而不是使用固定的点集作为指导。因此，表面重建的质量从更准确的3D高斯喷洒的指导中得到改善。通过联合优化3D高斯喷洒和神经隐式模型，我们的方法从两种表示中受益，并生成具有复杂细节的完整表面。在Tanks and Temples数据集上的实验验证了我们提出的方法的有效性。

本论文旨在通过引入3D高斯点云的指导，提出一种神经隐式表面重建流程，以恢复高度详细的表面，解决现有隐式表面重建方法在细节方面的不足。

论文的关键思路是通过3D高斯点云的指导，结合神经隐式模型，进行联合优化，生成具有细节的完整表面。

论文通过引入3D高斯点云的指导，提出了一种新的神经隐式表面重建流程，可以生成具有细节的完整表面。论文使用了Tanks and Temples数据集进行实验，并取得了良好的效果。论文提出的方法可以作为未来相关研究的基础。

与本论文相关的研究包括：1. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation; 2. Occupancy Networks: Learning 3D Reconstruction in Function Space; 3. Neural 3D Mesh Renderer。