3D Facial Expressions through Analysis-by-Neural-Synthesis

现有的从野外图像中进行三维面部重建的方法擅长恢复整体面部形状，但通常会忽略微妙、极端、不对称或很少观察到的表情。我们通过SMIRK（基于空间建模的基于图像的动作重建）改进了这些方法，可以从图像中忠实地重建表情丰富的三维面部。我们确定现有方法的两个关键局限性：自我监督训练公式的不足和训练图像中表情多样性的缺乏。对于训练，大多数方法采用可微分渲染来比较预测的面部网格和输入图像，以及大量的其他损失函数。这种可微分渲染损失不仅必须提供监督以优化三维面部几何、相机、反照率和照明，这是一个不适定的优化问题，而且渲染和输入图像之间的域差距进一步阻碍了学习过程。相反，SMIRK用神经渲染模块替换了可微分渲染，给定渲染的预测网格几何和输入图像的稀疏采样像素，生成一个面部图像。由于神经渲染从采样的图像像素中获取颜色信息，因此使用基于神经渲染的重建损失进行监督可以仅专注于几何。此外，它使我们能够在训练过程中生成具有不同表情的输入身份的图像。然后将其用作重建模型的输入，并与地面实况几何一起用作监督。这有效地增加了训练数据，并增强了对多样表情的泛化。我们的定性、定量以及特别是感知评估表明，SMIRK在准确的表情重建方面实现了最新的最佳性能。项目网页：https://georgeretsi.github.io/smirk/。

论文旨在通过提出SMIRK方法来解决现有3D面部重建方法在复杂表情下的表现不佳的问题。同时，论文还试图通过增加表情多样性的训练数据，提高模型的泛化能力。

SMIRK方法将不可导渲染替换为神经渲染模块，并使用神经渲染模块生成的面部图像作为训练数据，以提高模型对表情的重建能力。这种方法可以专注于几何形状，同时增加训练数据的多样性。

论文通过实验表明，SMIRK方法在表情重建方面具有最先进的性能。同时，论文还提供了一个项目网页和开源代码。值得进一步研究的工作包括如何将SMIRK方法应用于其他任务以及如何进一步提高模型的准确性和效率。

最近的相关研究包括Deep3DFaceReconstruction、RingNet和3DMM。