SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering

我们提出了一种方法，可以从3D高斯点云中精确且极快地提取网格。高斯点云最近因其训练速度明显快于NeRFs且可实现逼真渲染而变得非常流行。然而，从数百万个微小的三维高斯点云中提取网格是具有挑战性的，因为这些高斯点云在优化后往往无序，并且迄今为止还没有提出任何方法。我们的第一个关键贡献是引入一项正则化项，以鼓励高斯点云与场景表面对齐。然后，我们引入了一种方法，利用这种对齐来使用泊松重建从高斯点云中提取网格，这是一种快速，可扩展且保留细节的方法，与通常用于从神经SDF中提取网格的Marching Cubes算法形成对比。最后，我们引入了一种可选的细化策略，将高斯点云绑定到网格表面，并通过高斯点云渲染同时优化这些高斯点云和网格。这使得可以通过操纵网格而不是高斯点云本身，使用传统软件轻松编辑、雕刻、绑定、动画、合成和重新照明高斯点云。与神经SDF的最新方法相比，我们的方法可以在几分钟内检索到一个可编辑的网格，而不是几个小时，同时提供更好的渲染质量。我们的项目页面如下：https://imagine.enpc.fr/~guedona/sugar/。

论文尝试解决从3D高斯点云中精确且快速地提取网格的问题。这是一个新问题吗？

论文的关键思路是引入一个正则化项，鼓励高斯点云与场景表面对齐，并利用这种对齐关系，通过泊松重建算法从高斯点云中提取网格。

论文的亮点包括：使用高斯点云进行渲染比使用神经SDF更快更容易；引入正则化项来提高高斯点云与场景表面的对齐性；通过泊松重建算法从高斯点云中提取网格；提出了一种可选的精细化策略，通过将高斯点云与网格绑定，实现对高斯点云的易于编辑、雕刻、绑定、动画、合成和重新照明；实验结果表明，该方法比现有的神经SDF方法更快、更准确。

最近在这个领域中，一些相关的研究包括：NeRF、神经SDF、Marching Cubes算法等。