SplattingAvatar: Realistic Real-Time Human Avatars with Mesh-Embedded Gaussian Splatting

我们提出了SplattingAvatar，一种混合的3D表示法，将高逼真度的人类化身与嵌入三角网格的高斯喷洒相结合，可在现代GPU上以超过300 FPS的速度呈现，在移动设备上以30 FPS的速度呈现。我们通过明确的网格几何和高斯喷洒的隐式外观建模，将虚拟人类的运动和外观分离。高斯函数由重心坐标和三角网格上的位移定义为Phong表面。我们扩展了提升优化，以同时优化高斯函数的参数和在三角网格上行走。SplattingAvatar是虚拟人类的混合表示，其中网格表示低频运动和表面变形，而高斯函数则接管高频几何和详细外观。与现有的依赖于基于MLP的线性混合蒙皮（LBS）场进行变形的方法不同，我们直接通过网格控制高斯函数的旋转和平移，从而使其与各种动画技术（例如骨骼动画、混合形状和网格编辑）兼容。SplattingAvatar可从单目视频中训练用于全身和头部化身，显示出多个数据集的最先进的渲染质量。

本论文的问题是如何实现高效率、高质量、高度可定制化的人物模型渲染，同时解决传统方法中难以处理的高频几何和细节外观问题。

本论文的关键思路是将高频几何和细节外观分别用高斯平滑函数和三角形网格表示，并通过优化算法同时控制它们的参数，从而实现高效渲染和高度可定制化。

本论文的亮点包括：1. 实现了高效率、高质量、高度可定制化的人物模型渲染；2. 通过高斯平滑函数和三角形网格分别表示高频几何和细节外观，解决了传统方法中难以处理的问题；3. 实验使用了多个数据集验证了该方法的优越性；4. 该方法与多种动画技术兼容，如骨骼动画、混合形状和网格编辑。

在这个领域中，最近的相关研究包括：1. DeepSDF：通过神经网络表示几何形状；2. StyleGAN：通过生成对抗网络表示高质量的人脸图像；3. Neural 3D Mesh Renderer：通过神经网络实现高效的3D渲染。