Multimodal Conditional 3D Face Geometry Generation

我们提出了一种新的多模态条件三维人脸几何生成方法，它通过多种不同的条件信号实现对输出身份和表情的用户友好控制。在单个模型内，我们展示了从艺术草图、二维人脸标记、Canny边缘、FLAME人脸模型参数、肖像照片或文本提示生成的三维人脸。我们的方法基于扩散过程，在二维参数化的UV域中生成三维几何形状。几何形状生成通过一组交叉注意力层（IP-Adapter）传递每个条件信号，每个用户定义的条件信号一组。结果是一个易于使用的三维人脸生成工具，可以产生具有细粒度用户控制的高分辨率几何形状。

本论文旨在提出一种多模态条件3D面部几何生成方法，允许通过多种不同的条件信号对输出身份和表情进行用户友好的控制。

该方法基于扩散过程，在二维参数化UV域中生成3D几何，通过交叉注意力层（IP-Adapter）将每个条件信号传递给一组集合，从而实现了易于使用的3D面部生成工具。

该方法可以通过艺术素描、2D面部标记、Canny边缘、FLAME面部模型参数、肖像照片或文本提示生成3D面部，具有细粒度的用户控制能力。实验结果表明，该方法在生成高分辨率几何方面表现出色。

最近的相关研究包括“3D人脸重建”（Three-Dimensional Face Reconstruction）和“基于深度学习的人脸表情合成”（Deep Learning Based Facial Expression Synthesis）。