Dynamic Gaussians Mesh: Consistent Mesh Reconstruction from Monocular Videos

现代的3D引擎和图形管道需要网格作为一种内存高效的表示，这种表示允许高效的渲染、几何处理、纹理编辑和许多其他下游操作。然而，从单眼视觉观察中获得高质量的网格（在结构和细节方面）仍然非常困难。对于动态场景和物体，这个问题变得更加具有挑战性。为此，我们引入了动态高斯网格（DG-Mesh）框架，它可以在给定单个单眼视频的情况下重建高保真度和时间一致的网格。我们的工作利用了最近在3D高斯点光栅化方面的进展，从视频中构建具有时间一致性的网格序列。在此表示的基础上，DG-Mesh从高斯点中恢复高质量的网格，并可以随时间跟踪网格顶点，从而实现对动态对象的纹理编辑等应用。我们介绍了高斯网格锚定，它鼓励均匀分布的高斯点，通过基于网格的稠密化和修剪来实现更好的网格重建。通过在规范空间和变形空间之间应用循环一致的变形，我们可以将锚定的高斯点投影回规范空间，并在所有时间帧上优化高斯点。在不同数据集上的评估中，DG-Mesh提供了比基线更好的网格重建和渲染。项目页面：https://www.liuisabella.com/DG-Mesh/

论文旨在解决从单目视频中获取高质量网格表示的问题，尤其是对于动态场景和物体的情况下。

论文提出了一种Dynamic Gaussians Mesh（DG-Mesh）的框架，通过利用3D高斯点的表示方法，从单目视频中构建具有时间一致性的高保真度和时间一致性的网格序列。

论文介绍了一种新颖的高斯网格锚定方法，通过网格引导的密集化和修剪来鼓励均匀分布的高斯点，从而实现更好的网格重建。此外，论文还在多个数据集上进行了实验，并取得了比基线更好的网格重建和渲染效果。论文还提供了项目页面和开源代码。

最近在这个领域中，还有一些相关的研究，例如《3D-MPA: Multi Proposal Aggregation for 3D Semantic Instance Segmentation》和《Monocular Real-Time Volumetric Performance Capture》。