eMotion-GAN: A Motion-based GAN for Photorealistic and Facial Expression Preserving Frontal View Synthesis

许多现有的面部表情识别（FER）系统在面对头部姿势变化时会遇到严重的性能下降问题。已经提出了许多正面化方法来增强这些系统在这种情况下的性能。然而，它们通常会引入不良变形，使它们不太适合进行精确的面部表情分析。本文介绍了一种新的深度学习方法eMotion-GAN，旨在进行正面视图合成，同时在动态域内保留面部表情。考虑到由头部变化引起的运动是噪声，而由面部表情引起的运动是相关信息，我们的模型经过训练，以过滤掉噪声运动，仅保留与面部表情相关的运动。然后将过滤后的运动映射到一个中性的正面脸上，生成相应的表情正面脸。我们使用几个广泛认可的动态FER数据集进行了广泛的评估，这些数据集包括展示不同程度的头部姿势变化的序列，包括强度和方向。我们的结果表明，我们的方法在显著减少正面和非正面脸之间的FER性能差距方面是有效的。具体而言，我们在小姿势变化方面实现了高达+5％的FER改进，在较大姿势变化方面实现了高达+20％的改进。代码可在\url{https://github.com/o-ikne/eMotion-GAN.git}中获得。

解决问题：本文旨在解决现有面部表情识别系统在面部姿态变化时性能下降的问题，提出一种新的深度学习方法eMotion-GAN，用于前视图合成并保留面部表情。

关键思路：将头部变化引起的动作视为噪声，将面部表情引起的动作视为相关信息，通过过滤噪声动作来保留只与面部表情相关的动作，并将其映射到中性前视脸上生成相应的表情前视脸。

亮点：本文提出的eMotion-GAN方法在多个动态面部表情识别数据集上进行了广泛的评估，结果表明该方法有效地缩小了前视和非前视面部的FER性能差距，对于小姿态变化可提高5％，对于大姿态变化可提高20％。代码已公开。

相关研究：在这个领域中，最近的相关研究包括“Deep Alignment Network based Multi-Modal Emotion Recognition with Pose Variations”和“Facial Expression Recognition under Variations in Pose and Illumination”。