论文地址：https://arxiv.org/pdf/2112.02308.pdf

开源代码：https://github.com/zhuhao-nju/mofanerf

摘要

我们提出了一个参数化模型，将自由视角图像映射到一个带有神经辐射场的编码面部形状、表情和外观的向量空间，即可变形面部神经网络。具体来说，MoFaNeRF将编码后的人脸形状、表情和外观以及空间坐标和视图方向作为MLP的输入，输出空间点的辐射亮度进行真实感图像合成。与传统的三维可变形模型(3DMM)相比，MoFaNeRF在直接合成眼睛、嘴巴和胡须的真实感面部细节方面表现出了优越性。同时，通过对输入的形状、表情和外观代码进行插值，可以很容易地实现连续的人脸变形。通过引入身份特定调制和纹理编码器，我们的模型合成了精确的光度细节，显示出强大的表征能力。该模型在基于图像的拟合、随机生成、人脸操纵、人脸编辑和新视图合成等多种应用中显示出强大的能力。实验表明，该方法比已有的参数模型具有更高的表示能力，并在多个应用中取得了较好的性能。据我们所知，我们的工作是第一个建立在神经辐射场上的面部参数化模型，可以用于拟合、生成和操作。

主要贡献

我们的贡献可概括如下：

  • 根据我们所知，我们提出了第一个参数化模型，该模型利用神经辐射场将自由视点人脸图像映射到向量空间，并且与传统的三维可变形模型无关。
  • 参数映射的神经网络被精心设计以最大化解空间来表示不同的恒等式和表达式。将分离出来的形状、外观和表情参数进行插值，实现连续、可变形的人脸合成。
  • 我们提出使用我们的模型用于多种应用，如基于图像的拟合，视图外推，人脸编辑和人脸操纵。与最先进的方法相比，我们的模型实现了有竞争力的性能。

实验

我们首先将模型与以往的参数模型在表征能力上进行了比较，然后说明了参数解纠缠和网络设计在烧蚀研究中的有效性。最后，我们评估了MoFaNeRF在基于单视图的图像拟合、视图外推和人脸处理方面的性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除