E2F-Net: Eyes-to-Face Inpainting via StyleGAN Latent Space

人脸修复技术是恢复面部图像中缺失或损坏区域的关键技术，对于在被遮挡的情况下进行人脸识别和使用低质量图像进行图像分析等应用非常重要。这个过程不仅需要产生逼真的视觉效果，还需要保留个体身份特征。本文旨在通过一种新的基于生成对抗网络（GAN）的模型，即Eyes-to-Face Network（E2F-Net），来修复给定眼部到面部的人脸区域。该方法使用了两个专门的编码器从眼部到面部的区域中提取身份和非身份特征。然后，将提取的特征映射到预先训练的StyleGAN生成器的潜在空间中，以利用其最先进的性能和丰富、多样和表现力强的潜在空间，而无需进行任何额外的训练。我们进一步改进了StyleGAN的输出，使用了一种新的GAN反演技术的优化方法来找到潜在空间中的最优代码。我们的E2F-Net需要最少的训练过程，从而减少了计算复杂度，带来了次要的好处。通过广泛的实验，我们展示了我们的方法成功地重构了高质量的整个人脸，超越了当前的技术，尽管训练和监督工作明显较少。我们生成了七个基于公共面部数据集的眼到脸数据集，用于训练和验证我们提出的方法。代码和数据集可公开获取。

本文旨在通过提出一种新的基于生成对抗网络（GAN）的模型Eyes-to-Face Network（E2F-Net）来解决面部图像修复中的问题，即如何通过眼到脸的区域来修复面部图像。该方法不仅需要产生逼真的视觉效果，还需要保留个体身份特征。

本文提出了一种新的方法，通过两个专门的编码器从眼到脸的区域提取身份和非身份特征，然后将这些特征映射到预训练的StyleGAN生成器的潜在空间中，以利用其最先进的性能和丰富、多样和表现力强的潜在空间，无需进行额外的训练。同时，通过新的GAN反演优化技术，进一步改进了StyleGAN的输出，以找到潜在空间中的最优代码。

本文通过实验表明，该方法不仅可以成功地重建整个面部图像，并且具有高质量，而且还可以在减少训练和监督的情况下超越当前的技术。作者还生成了七个基于公共面部数据集的眼到脸数据集，用于验证他们提出的方法。

最近在这个领域中，还有一些相关的研究，如Face ID-GAN、Mask-Guided GAN等。