Emotion Recognition Using Transformers with Masked Learning

近年来，深度学习在包括人类情感和行为分析在内的各个领域取得了创新性进展。其中，Affective Behavior Analysis in-the-wild (ABAW) 竞赛等倡议尤其有助于推动该领域的研究，提供了多样且具有挑战性的数据集，使得复杂情感状态的准确评估成为可能。本研究利用 Vision Transformer (ViT) 和 Transformer 模型，专注于估计情感的积极性和强度，即 Valence-Arousal (VA)，识别各种面部表情和检测代表基本肌肉运动的 Action Units (AU)。该方法超越了传统的卷积神经网络 (CNNs) 和长短期记忆 (LSTM) 方法，提出了一种新的基于 Transformer 的框架，最大化了对时空特征的理解。本研究的核心贡献包括引入随机帧遮挡的学习技术和应用针对不平衡数据的 Focal loss，提高了情感和行为分析在实际场景中的准确性和适用性。预计该方法将有助于情感计算和深度学习方法的进一步发展。

论文旨在通过使用Vision Transformer (ViT)和Transformer模型，提出一种新的基于Transformer的框架，以最大化对情绪和行为分析中的时间和空间特征的理解，解决情绪计算和深度学习方法中的问题。

论文的关键思路是使用ViT和Transformer模型结合随机帧遮盖的学习技术和Focal loss适应不平衡数据，提高情绪和行为分析的准确性和适用性。

论文使用ABAW竞赛提供的数据集进行实验，证明了该方法相较于传统的卷积神经网络和长短期记忆网络的方法更加有效。论文还开源了代码，为情绪计算和深度学习研究提供了新思路。

在情绪计算和深度学习领域，最近的相关研究包括：'Emotion Recognition using Facial Landmarks, Python, DLib and OpenCV'和'Emotion Recognition using Facial Expressions, Speech and Multimodal Databases'。