Emotion Recognition Using Transformers with Masked Learning

近年来，深度学习在包括人类情感和行为分析在内的各个领域取得了创新性进展。其中，像“野外情感行为分析”（ABAW）比赛这样的举措，通过提供多样化和具有挑战性的数据集，使得对复杂情感状态的精确评估成为可能，特别有助于推动这一领域的研究。本研究利用Vision Transformer（ViT）和Transformer模型，专注于估计情感的Valence-Arousal（VA）即情感的积极性和强度，识别各种面部表情，并检测代表基本肌肉运动的动作单元（AU）。这种方法超越了传统的卷积神经网络（CNNs）和长短期记忆（LSTM）方法，提出了一种新的基于Transformer的框架，最大化了对时间和空间特征的理解。本研究的核心贡献包括引入一种通过随机帧屏蔽的学习技术，以及应用针对不平衡数据的Focal损失，增强了情感和行为分析在实际环境中的准确性和适用性。这种方法有望为情感计算和深度学习方法的发展做出贡献。

本文旨在通过使用Vision Transformer (ViT)和Transformer模型，提出一种新的基于Transformer的框架，以最大化对情感和行为分析的理解，解决情感计算和深度学习方法中的问题。

本文提出了一种新的Transformer-based框架，通过随机帧遮罩的学习技术和针对不平衡数据适应的Focal loss，提高了情感和行为分析的准确性和适用性。

本文的亮点包括使用ViT和Transformer模型来估计情感的Valence-Arousal (VA)，识别各种面部表情和检测表示基本肌肉运动的Action Units (AU)。实验使用了ABAW数据集，并开源了代码，提出的方法在情感计算和深度学习方法中具有广泛应用价值。

最近的相关研究包括使用CNN和LSTM方法进行情感和行为分析，以及使用其他Transformer-based方法进行自然语言处理和图像分类。