SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering

我们提出了一种方法，可以从三维高斯点云中精确而极快地提取网格。高斯点云最近变得非常流行，因为它能产生逼真的渲染效果，而训练速度比NeRFs快得多。然而，从数百万个微小的三维高斯点云中提取网格是具有挑战性的，因为这些高斯点云在优化后往往是无组织的，目前还没有提出任何方法。我们的第一个关键贡献是一个正则化项，它鼓励高斯点云与场景表面对齐良好。然后，我们介绍了一种方法，利用这种对齐来使用泊松重建从高斯点云中提取网格，这是快速、可扩展且保留细节的，与通常用于从神经SDF中提取网格的Marching Cubes算法形成对比。最后，我们介绍了一种可选的细化策略，将高斯点云绑定到网格表面，并通过高斯点云渲染共同优化这些高斯点云和网格。这使得可以通过操作网格而不是高斯点云本身，使用传统软件轻松编辑、雕刻、绑定、动画、合成和重新照明高斯点云。使用我们的方法，在几分钟内检索出可编辑的网格以进行逼真渲染，而与神经SDF的最先进方法相比，时间缩短了数小时，同时提供更好的渲染质量。我们的项目页面如下：https://anttwo.github.io/sugar/。

如何从三维高斯点云中快速精确地提取网格？

通过引入正则化项，鼓励高斯函数与场景表面对齐，然后利用这种对齐来使用泊松重建从高斯函数中提取网格，最后通过绑定高斯函数到网格表面来进行可编辑的渲染

论文提出的方法可以在几分钟内从高斯点云中提取可编辑的网格，相比于现有的神经SDF方法，速度更快、渲染质量更好。实验结果表明，该方法可以应用于实际场景的渲染。作者提供了开源代码和数据集。

最近的相关研究包括NeRF和Marching Cubes等方法。