Temporal Label Hierachical Network for Compound Emotion Recognition

情感识别在近几十年来引起了更多的关注。尽管在七种基本情感识别技术方面取得了显著进展，但现有方法仍难以解决在实际应用中常见的复合情感识别问题。本文介绍了我们在第七届情感行为分析（ABAW）竞赛中取得的成就。在竞赛中，我们选择了经过广泛验证的预训练ResNet18和Transformer作为基本网络框架。考虑到情感随时间的连续性，我们提出了一种时间金字塔结构网络，用于帧级情感预测。此外，为了解决复合情感识别中数据不足的问题，我们利用DFEW数据库中的细粒度标签构建了竞赛情感类别的训练数据。考虑到各种复杂情感的价值唤醒特征，我们在标签空间中构建了从粗到细的分类框架。

解决问题：本论文旨在解决复合情感识别的问题，该问题在实际应用中非常普遍，现有方法难以解决。

关键思路：本论文采用了预训练的ResNet18和Transformer作为基本网络框架，提出了时间金字塔结构网络来预测情感。同时，利用DFEW数据库的细粒度标签构建训练数据，从粗到细构建了标签空间的分类框架，以解决复合情感识别中数据不足的问题。

其他亮点：本论文在7th Field Emotion Behavior Analysis (ABAW)竞赛中取得了成果。实验中使用的数据集包括DFEW数据库和EmotioNet数据库，并且开源了代码。在分类框架中考虑到了各种复杂情感的valence arousal特征，该研究为复合情感识别提供了一种新的解决方案。

相关研究：最近的相关研究包括：\n1. 'Facial Emotion Recognition Using Deep Neural Networks: A Survey'\n2. 'A Survey on Deep Learning for Multimodal Emotion Recognition'\n3. 'Multi-modal Emotion Recognition Using Deep Learning: A Review'