Enhancing Facial Expression Recognition through Dual-Direction Attention Mixed Feature Networks: Application to 7th ABAW Challenge

我们在2024年ECCV的第七届ABAW挑战中提出了我们的贡献，通过利用双向注意力混合特征网络进行多任务面部表情识别，我们取得了远远超出多任务ABAW挑战的基准线的结果。我们的提议使用了众所周知的DDAMFN架构作为基础，有效地预测了价值-唤醒、情感识别和动作单元。我们展示了该架构同时处理这些任务的能力，提供了其架构和设计背后的理论基础。此外，我们将多任务解决方案的结果与独立单任务性能进行了比较。

本文旨在通过使用Dual-Direction Attention Mixed Feature Network来实现多任务面部表情识别，解决情感识别、动作单元和价值唤醒等方面的问题。同时，本文还试图比较多任务和单任务的表现。

本文使用了DDAMFN架构作为基础，有效地预测了情感识别、动作单元和价值唤醒。文章展示了这种架构同时处理这些任务的能力，并提供了其设计的原理。

本文的亮点在于提出了一种新的解决方案，使用了DDAMFN架构来实现多任务面部表情识别。实验使用了ABAW数据集，并比较了多任务和单任务的表现。本文的代码已经开源。

最近在这个领域中，还有一些相关的研究，例如“Facial Expression Recognition with Multi-Modal Deep Learning”和“Facial Expression Recognition using Convolutional Neural Networks”。