Fast Text-to-3D-Aware Face Generation and Manipulation via Direct Cross-modal Mapping and Geometric Regularization

本文介绍了一种名为$E^3$-FaceNet的端到端高效有效网络，用于快速准确地生成和操作文本到3D感知人脸。与现有的复杂生成范例不同，$E^3$-FaceNet采用直接映射文本指令到3D感知视觉空间的方法。我们引入了一种新颖的样式代码增强器，以增强跨模态语义对齐，并采用创新的几何规则化目标来保持多视角生成的一致性。在三个基准数据集上的广泛实验表明，$E^3$-FaceNet不仅可以实现类似图片的3D人脸生成和操作，而且可以将推断速度提高数倍。例如，与Latent3D相比，$E^3$-FaceNet将五视图生成的速度提高了近470倍，同时仍然超过了生成质量。我们的代码已在https://github.com/Aria-Zhangjl/E3-FaceNet发布。

本论文旨在解决文本到三维人脸生成和操作的效率低下和质量差的问题。

本文提出了一种名为$E^3$-FaceNet的端到端高效和有效的网络，通过直接将文本指令映射到三维可视空间来实现快速和准确的三维人脸生成和操作。该网络采用了新颖的样式代码增强器和几何正则化目标，以提高跨模态语义对齐的质量，并保持多视角生成的一致性。

本文的实验结果表明，$E^3$-FaceNet不仅可以实现类似图片的三维人脸生成和操作，而且可以将推断速度提高几个数量级。除此之外，本文还开源了代码并在三个基准数据集上进行了广泛的实验，证明了该网络的有效性和高效性。

在这个领域中，最近的一些相关研究包括：《Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network》、《3D-Aware GAN for 3D Object Synthesis》、《3D Face Reconstruction from a Single Image Using a Multi-View Stereo Model》等。