Topo4D: Topology-Preserving Gaussian Splatting for High-Fidelity 4D Head Capture

4D头部捕捉旨在从视频中生成动态拓扑网格和相应的纹理贴图，因其能够模拟面部肌肉运动并恢复毛孔挤压中的动态纹理而被广泛应用于电影和游戏中。该行业通常采用涉及多视图立体和非刚性对齐的方法。然而，这种方法容易出现错误，并且严重依赖于艺术家耗时的手动处理。为简化这个过程，我们提出了Topo4D，这是一个新颖的框架，用于从校准的多视图时间序列图像直接优化密集对齐的4D头部和8K纹理贴图的生成。具体而言，我们首先将时间序列面部表示为一组动态的3D高斯函数，具有固定的拓扑结构，其中高斯函数的中心绑定到网格顶点。然后，我们对每一帧进行交替的几何和纹理优化，以实现高质量的几何和纹理学习，同时保持时间拓扑稳定性。最后，我们可以从学习到的高斯函数中提取具有规则布线结构的动态面部网格和具有毛孔级细节的高保真度纹理。广泛的实验表明，我们的方法在网格和纹理质量方面均优于当前的SOTA面部重建方法。项目页面：https://xuanchenli.github.io/Topo4D/。

Topo4D论文旨在解决4D头部捕捉的自动化几何和纹理生成问题，以简化影视和游戏制作中的人脸动态模拟。

Topo4D提出了一种新的框架，通过从校准的多视角时间序列图像中优化密集对齐的4D头部和8K纹理图直接生成几何和纹理。

论文使用动态3D高斯函数表示时间序列面部，进行交替的几何和纹理优化，以学习高质量的几何和纹理，并保持时间拓扑稳定性。实验结果表明，Topo4D方法在网格和纹理质量上均优于当前的SOTA人脸重建方法。

在此领域中的相关研究包括：Deep3DFaceReconstruction、3DMM、Multi-View Stereo等。