ArtNeRF: A Stylized Neural Field for 3D-Aware Cartoonized Face Synthesis

最近，生成式视觉模型和神经辐射场技术极大地推动了3D感知图像合成和风格化任务的发展。然而，以前基于NeRF的工作仅限于单场景风格化，训练模型生成具有任意风格的3D感知卡通面孔仍未解决。我们提出了ArtNeRF，这是一个新颖的面部风格化框架，源于3D感知GAN，用于解决这个问题。在这个框架中，我们利用一个表达能力强的生成器合成风格化面部，并使用三分支鉴别器模块来提高生成面部的视觉质量和风格一致性。具体来说，我们利用基于对比学习的风格编码器提取风格图像的稳健低维嵌入，使生成器具备各种风格的知识。为了平滑跨域迁移学习的训练过程，我们提出了自适应风格混合模块，有助于注入风格信息，并允许用户自由调整风格化程度。我们还引入了神经渲染模块，以实现更高分辨率图像的高效实时渲染。广泛的实验表明，ArtNeRF在生成具有任意风格的高质量3D感知卡通面孔方面具有多种用途。

本论文旨在解决NeRF-based工作只能进行单场景风格化的问题，提出了ArtNeRF框架，利用3D-aware GAN生成具有任意风格的卡通人脸。

ArtNeRF框架包括一个生成器、一个三分支鉴别器模块和一个基于对比学习的风格编码器。通过风格编码器提取风格图像的低维嵌入，使生成器具有各种风格的知识；提出自适应风格混合模块平滑跨域迁移学习的训练过程，使用户可以自由调整风格化程度；引入神经渲染模块实现高分辨率图像的高效实时渲染。

论文在多个数据集上进行了实验，证明了ArtNeRF在生成高质量的3D-aware卡通人脸方面的多样性和灵活性。此外，论文还提供了开源代码。

最近的相关研究包括：《Generative Adversarial Networks》、《Progressive Growing of GANs for Improved Quality, Stability, and Variation》、《StyleGAN: A Style-Based Generator Architecture for Generative Adversarial Networks》等。