Dynamic Gaussians Mesh: Consistent Mesh Reconstruction from Monocular Videos

现代的3D引擎和图形管线需要网格作为一种内存高效的表示方法，这可以实现高效的渲染、几何处理、纹理编辑和许多其他下游操作。然而，从单目视觉观察中获得高质量的网格，无论是在结构还是细节方面，仍然非常困难。对于动态场景和物体，这个问题变得更加具有挑战性。为此，我们介绍了动态高斯网格（DG-Mesh）框架，它可以在给定单个单目视频的情况下重建高保真度和时间一致的网格。我们的工作利用了最近在3D高斯喷洒方面的进展，从视频中构建具有时间一致性的网格序列。在此表示的基础上，DG-Mesh从高斯点中恢复高质量的网格，并可以随时间跟踪网格顶点，这使得可以在动态物体上进行纹理编辑等应用。我们引入了高斯网格锚定，它鼓励均匀分布的高斯函数，通过基于网格的密集化和修剪来提高变形高斯函数的网格重建。通过在规范空间和变形空间之间应用循环一致变形，我们可以将锚定的高斯函数投影回规范空间，并优化所有时间帧的高斯函数。在不同数据集的评估中，DG-Mesh提供了比基线更好的网格重建和渲染。

论文旨在解决从单眼视频中重建高质量的动态物体网格的问题，包括结构和细节。这是一个相对新的问题。

DG-Mesh框架利用3D高斯喷洒的进展来构建具有时间一致性的网格序列，并从高斯点中恢复高质量的网格。通过引入Gaussian-Mesh Anchoring，可以通过网格引导的密集化和修剪来鼓励均匀分布的高斯点，从而实现更好的网格重建。通过在规范空间和变形空间之间应用循环一致变形，可以将锚定高斯点投影回规范空间并优化所有时间帧上的高斯点。

论文的实验结果表明，DG-Mesh比基线模型提供了更好的网格重建和渲染。论文使用了多个数据集进行评估，并开源了代码。值得进一步研究的工作包括如何在更复杂的场景中应用DG-Mesh以及如何将其应用于其他应用程序，例如虚拟现实和增强现实。

相关研究包括使用深度学习技术进行单眼RGB图像的3D重建，以及使用多个相机进行3D重建。其中一些论文包括“DeepSDF”、“NeRF”和“Multi-View Stereo”。