LeGO: Leveraging a Surface Deformation Network for Animatable Stylized Face Generation with One Example

最近的3D面部风格化技术在少量或零样本设置下取得了重大进展。然而，现有方法所达到的风格化程度通常不足以满足实际应用需求，因为它们大多基于具有有限变化的统计3D可塑模型（3DMM）。为此，我们提出了一种方法，可以生成具有所需拓扑结构的高度风格化的3D面部模型。我们的方法使用3DMM训练表面变形网络，并利用成对的样本将其领域转化为目标风格。网络通过模仿目标的风格，使用可微分渲染器和方向CLIP损失来实现3D面部网格的风格化。此外，在推理过程中，我们利用一个网格不可知编码器（MAGE），将变形目标（拓扑结构多样的网格）作为输入，将其形状编码到我们的潜在空间中进行风格化处理。生成的风格化面部模型可以通过常用的3DMM混合形状进行动画处理。一组定量和定性评估表明，我们的方法可以根据给定的风格生成高度风格化的面部网格，并以所需的拓扑结构输出它们。我们还展示了我们方法的示例应用，包括基于图像的风格化头像生成、几何风格的线性插值以及风格化头像的面部动画。

如何实现高度风格化的三维人脸建模？

使用表面变形网络和可微分渲染器将三维形态模型转化为目标风格，利用Mesh Agnostic Encoder实现不同拓扑结构的人脸建模，同时使用方向CLIP损失进行风格迁移。

论文提出的方法可以实现高度风格化的三维人脸建模，并可用于图像化风格化头像生成、几何风格的线性插值和风格化头像的面部动画。实验结果表明该方法可以根据给定的风格生成高度风格化的人脸模型，并输出所需的拓扑结构。

在最近的相关研究中，也有一些关于三维人脸建模和风格迁移的工作，如《Deep3DFaceReconstruction: A Survey》和《DeepFaceDrawing: Deep Generation of Face Images from Sketches》等。