FaceCLIPNeRF：用可变形神经辐射场进行文本驱动3D人脸操纵

FaceCLIPNeRF: Text-driven 3D Face Manipulation using Deformable Neural Radiance Fields

S Hwang, J Hyung, D Kim, M Kim, J Choo
[KAIST & Scatter Lab]

FaceCLIPNeRF：用可变形神经辐射场进行文本驱动3D人脸操纵

• 动机：近期神经辐射场(NeRF)的进步已实现高保真3D人脸重建和新视图合成，然而其操作需要大量的人力，如用户提供的语义蒙版和手动属性搜索，不适合非专家用户。
• 方法：提出一种只需要单个文本就可以操纵用NeRF重建人脸的方法。首先训练一个场景操纵器，一个以潜代码为条件的可变形NeRF，通过潜代码控制人脸变形。提出一个位置条件锚合成器(PAC)，学习用空间变化的潜代码表示被操作的场景。与场景操纵器的渲染结果被优化，以使其在CLIP嵌入空间中与目标文本具有高余弦相似度，以进行文本驱动的操作。
• 优势：该方法是首个处理用NeRF重建人脸的文本驱动操作的方法，大量的结果、比较和消融研究展示了方法的有效性。

提出一种新的文本驱动3D人脸操作方法，通过学习用空间变化的潜代码表示被操作的场景，解决了传统可变形NeRF无法合成在不同实例中观察到的变形的问题。

https://arxiv.org/abs/2307.11418