High-quality Surface Reconstruction using Gaussian Surfels

我们提出了一种新颖的基于点的表示方法，高斯surfels，将3D高斯点的灵活优化过程和surfels的表面对齐特性相结合。这是通过直接将3D高斯点的z-scale设置为0来实现的，有效地将原始的3D椭球形变成2D椭圆。这种设计为优化器提供了清晰的指导。通过将局部z轴视为法线方向，它极大地提高了优化稳定性和表面对齐性。虽然在这种设置下，从协方差矩阵计算出的局部z轴的导数为零，但我们设计了一种自监督的法线深度一致性损失来解决这个问题。单目法线先验和前景掩码被纳入以增强重建质量，缓解与高光和背景相关的问题。我们提出了一种体积切割方法来聚合高斯surfels的信息，以消除由alpha混合生成的深度图中的错误点。最后，我们将筛选的泊松重构方法应用于融合的深度图中，以提取表面网格。实验结果表明，与最先进的神经体积渲染和基于点的渲染方法相比，我们的方法在表面重建方面表现出优越的性能。

本篇论文旨在提出一种新的点云表示方式，名为高斯surfels，以结合3D高斯点的灵活优化过程和surfels的表面对齐性质。该方法的目标是提高表面重建的质量和稳定性。

高斯surfels的关键思路是将3D高斯点的z-scale设置为0，将原始的3D椭球体压缩成一个2D椭圆。这种设计提供了对优化器的明确指导，并将局部z轴视为法线方向，从而极大地提高了优化的稳定性和表面对齐性。

论文使用了自监督的法向深度一致性损失、单目法向先验和前景掩膜等技术来提高重建质量，还提出了一种体积切割方法以聚合高斯surfels的信息，从而消除alpha混合生成的深度图中的错误点。最后，应用筛选泊松重建方法提取表面网格。实验结果表明，与最先进的神经体积渲染和基于点的渲染方法相比，本方法在表面重建方面表现出优越性。

在这个领域中，最近的相关研究包括：NeRF、GRAF、PixelNeRF等。