GANmut: Generating and Modifying Facial Expressions

在情感合成领域，创造真实而细致的面部表情的能力越来越重要。GANmut研究讨论了一种最近引入的先进GAN框架，该框架不依赖预定义标签，而是学习动态且可解释的情感空间。该方法将每种离散情感映射为向量，从中性状态开始，其大小反映情感的强度。当前项目旨在通过在各种数据集、图像分辨率和面部检测方法之间进行基准测试来扩展该框架的研究。这将涉及使用两个情感数据集Aff-Wild2和AffNet进行一系列实验。Aff-Wild2包含在不受控制的环境中拍摄的视频，包括多样的摄像机角度、头部位置和照明条件，提供了一个真实世界的挑战。AffNet提供带有标记情感的图像，提高了可用于训练的情感表达的多样性。前两个实验将专注于使用Aff-Wild2数据集进行训练GANmut，使用RetinaFace或MTCNN进行处理，这两种都是高性能的深度学习人脸检测器。这种设置将有助于确定GANmut在具有挑战性的条件下学习合成情感的能力，并评估这些面部检测技术的比较有效性。随后的两个实验将合并Aff-Wild2和AffNet数据集，将Aff-Wild2的真实世界变异性与AffNet的多样情感标签相结合。同样使用RetinaFace和MTCNN人脸检测器，评估合并数据集的增强多样性是否提高了GANmut的性能，并比较每种面部检测方法在这种混合设置中的影响。

论文旨在解决情感合成中面部表情的真实性和细腻性问题，并探讨一种新的GAN框架来实现动态和可解释的情感空间，通过在不同数据集、图像分辨率和面部检测方法上进行基准测试，评估该框架的效果。

该论文提出了一种新的GAN框架，学习动态和可解释的情感空间，将每种情感映射为向量，其大小反映情感的强度，相比于现有的预定义标签的方法，具有更高的真实性和细腻度。

论文使用两个情感数据集Aff-Wild2和AffNet进行实验，其中Aff-Wild2包含在不受控制的环境下拍摄的视频，而AffNet提供带有标签的图像，提高了训练可用的情感表达的多样性。实验设计了四个实验，分别使用RetinaFace和MTCNN两种高性能深度学习面部检测器，评估GANmut在不同数据集和面部检测方法下的效果。论文还提供了开源代码。

与该论文相关的研究包括：1.《EmotionGAN: Generating Emotionally Expressive 3D Facial Models》；2.《Facial Expression Synthesis Based on a 3D Emotional Model》；3.《A Survey on Deep Learning Techniques for Face Recognition》等。