GoMAvatar: Efficient Animatable Human Modeling from Monocular Video Using Gaussians-on-Mesh

我们介绍了GoMAvatar，这是一种新颖的方法，可以实时、高效地进行高质量的人体建模。GoMAvatar以单目视频为输入，创建一个数字化的人物形象，能够在新的姿势中重新表达，并且能够从新的视角进行实时渲染，同时与基于光栅化的图形管线无缝集成。我们方法的核心是高斯网格表示法，这是一种混合的3D模型，将高斯喷洒的渲染质量和速度与几何建模和可变形网格的兼容性结合起来。我们在ZJU-MoCap数据和各种YouTube视频上评估了GoMAvatar。GoMAvatar在渲染质量方面与当前的单目人体建模算法相匹配或超越它们，而在计算效率方面显著优于它们（43 FPS），同时具有内存效率（每个主体3.63 MB）。

GoMAvatar论文旨在解决实时、高质量、可动画的人体建模问题。该方法能够从单目视频中创建数字化人物，实现新姿势的再现和从新视角的实时渲染，同时与基于光栅化的图形管道无缝集成。

该论文的关键思路是采用高斯点云和网格相结合的三维模型表示方法，以达到渲染质量和速度的平衡，并且兼容可变形网格。这种方法在计算效率上大大超越了当前的单目人体建模算法。

该论文使用ZJU-MoCap数据集和多个YouTube视频进行评估。GoMAvatar在渲染质量方面与当前的单目人体建模算法相当甚至更好，而且在计算效率方面明显优于它们。此外，该论文提供了内存高效的实现，每个主体只需3.63 MB。

在这个领域中，最近的相关研究包括DeepHuman、PIFuHD、TexMesh和HoloPort等。