MILo: Mesh-In-the-Loop Gaussian Splatting for Detailed and Efficient Surface Reconstruction

尽管最近高斯点绘技术的进展已经能够实现从图像中快速重建高质量的3D场景，但准确提取表面网格仍然是一个挑战。目前的方法需要通过代价高昂的后处理步骤来提取表面，导致细小的几何细节丢失，或者耗费大量时间并产生包含数百万顶点的非常密集的网格。更根本的问题在于，这种从体素表示向表面表示的事后转换限制了最终网格对训练过程中所捕捉到的所有几何结构的保留能力。 我们提出了MILo，这是一种全新的高斯点绘框架，通过可微分地从3D高斯分布中提取网格，弥合了体素表示与表面表示之间的鸿沟。我们设计了一种完全可微的过程，在每次训练迭代中直接根据高斯参数构建网格——包括顶点位置和连接关系——而这些高斯参数是在训练过程中唯一被优化的量。我们的方法引入了三项关键技术贡献： 1. 一种双向一致性框架，确保在训练过程中两种表示形式（高斯分布和提取出的网格）都能捕捉相同的底层几何结构； 2. 一种在每次训练迭代中执行的自适应网格提取过程，该过程使用高斯分布作为可微分支点进行Delaunay三角剖分； 3. 一种从3D高斯分布计算有符号距离值的新方法，能够在避免几何侵蚀的同时实现精确的表面提取。 我们的方法能够在仅需比以往方法少一个数量级网格顶点的情况下，以最先进的质量重建完整场景（包括背景）。由于我们的网格重量轻且内部为空，因此非常适合用于物理仿真或动画等下游应用。

论文旨在解决从高斯点阵（Gaussian Splatting）中提取精确表面网格的挑战。现有的方法通常需要昂贵的后处理步骤，导致几何细节丢失或生成具有数百万顶点的密集网格，同时难以保持最终网格与训练过程中捕捉到的几何结构一致。

论文提出了一种名为MILo的新框架，通过可微分地从3D高斯分布中提取网格来弥合体积表示和表面表示之间的差距。其关键创新在于设计了一个完全可微的过程，在每次训练迭代中直接从高斯参数构建网格（包括顶点位置和连接性），并引入了双向一致性框架、自适应网格提取和基于高斯的符号距离计算方法。

{实验表明，该方法在重建完整场景（包括背景）时能够达到最先进的质量，且所需网格顶点数量比现有方法少一个数量级。,生成的网格轻量且内部为空，适合用于物理模拟或动画等下游应用。,论文验证了将体积表示与表面表示结合的可能性，为未来的研究提供了新的方向。,相关代码可能已开源，但摘要未明确提及具体数据集或开源信息。}

{"NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis","Differentiable Surface Splatting for 3D Reconstruction","DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation","Occupancy Networks: Learning 3D Reconstruction in Function Space","MeshCNN: A Network with an Edge for 3D Mesh Learning"}