3D Gaussian Blendshapes for Head Avatar Animation

我们介绍了一种用于建模逼真头像的三维高斯混合形状。我们以单目视频为输入，学习出一个中性表情的基础头部模型，以及一组表情混合形状，其中每个形状对应于经典参数化面部模型中的一个基础表情。中性模型和表情混合形状都被表示为包含几个属性的三维高斯函数，以描述头像的外观。通过将中性模型和表情混合形状通过高斯线性混合的表情系数组合起来，可以有效地生成任意表情的头像模型。使用高斯喷洒技术可以实时合成高保真度的头像动画。与现有技术相比，我们的高斯混合形状表示更好地捕捉了输入视频中展示的高频细节，并实现了更优越的渲染性能。

论文旨在通过引入3D高斯混合形状来建模逼真头像，解决头像建模中高频细节捕捉和渲染性能问题。

论文提出了一种新的头像建模方法，使用高斯混合形状来表示中性头像和表情变化，通过线性混合生成任意表情的头像模型，并使用高斯喷洒技术实现了实时渲染。

论文使用了多个数据集进行实验，证明了该方法在高频细节捕捉和渲染性能方面优于现有方法。此外，论文还开源了代码，方便其他研究者使用和改进。

相关研究包括基于参数化面部模型的头像建模方法，以及使用深度学习技术进行头像建模的方法，如Deep3DFace和Adaptive Wing Loss等。