Learning Gaze-aware Compositional GAN

注视注释的面部数据对于训练准确的注视估计深度神经网络（DNN）至关重要。然而，由于准确注释受到挑战，获取这些数据需要耗费大量的人力和专业设备。在这项工作中，我们提出了一个生成框架，通过利用标记和未标记数据源的优势来创建注释的注视数据。我们提出了一个注视感知的组合生成对抗网络（GAN），它学习从有限的标记数据集中生成带注释的面部图像。然后，我们将这个模型转移到未标记数据域中，以利用它提供的多样性。实验证明了我们的方法在ETH-XGaze数据集内生成域内图像增强和在CelebAMask-HQ数据集域内生成跨域增强以用于注视估计DNN训练方面的有效性。我们还展示了我们工作的其他应用，包括面部图像编辑和注视重定向。

如何有效地利用有标注和无标注的数据源来生成注释的面部图像数据，以用于深度神经网络的注视估计训练？

提出了一种Gaze-aware Compositional GAN的生成框架，通过有限的标注数据集学习生成注释面部图像，然后将该模型转移到无标注数据领域以利用其提供的多样性。实验结果表明该方法在注视估计DNN训练中生成了领域内图像增强和跨领域增强，并且还可以用于面部图像编辑和注视重定向。

论文提出的方法可以有效地生成注释的面部图像数据，以用于深度神经网络的注视估计训练。实验结果表明该方法在注视估计DNN训练中生成了领域内图像增强和跨领域增强，并且还可以用于面部图像编辑和注视重定向。论文使用了ETH-XGaze和CelebAMask-HQ数据集，并提供了开源代码。

最近在该领域中的相关研究包括：1）使用GAN生成注释面部图像数据的研究；2）使用GAN进行面部图像编辑和重定向的研究；3）注视估计DNN训练中使用有标注和无标注数据的研究。相关论文包括《Generative Adversarial Networks for Annotated Facial Landmarks Generation》、《High-Resolution Image Synthesis for Gaze Manipulation》和《Deep Learning using Privileged Information for Unsupervised Gaze Estimation》等。