FER-YOLO-Mamba: Facial Expression Detection and Classification Based on Selective State Space

面部表情识别（FER）在理解人类情感提示方面发挥着关键作用。然而，基于视觉信息的传统FER方法存在一些限制，例如预处理、特征提取和多阶段分类过程。这不仅增加了计算复杂度，而且需要大量的计算资源。考虑到基于卷积神经网络（CNN）的FER方案经常无法识别嵌入面部表情图像中的深层、长距离依赖关系，以及Transformer固有的二次计算复杂度，本文提出了FER-YOLO-Mamba模型，该模型集成了Mamba和YOLO技术的原则，以促进面部表情图像识别和定位的高效协调。在FER-YOLO-Mamba模型中，我们进一步设计了FER-YOLO-VSS双分支模块，它将卷积层在局部特征提取方面的固有优势与状态空间模型（SSMs）在揭示长距离依赖关系方面的卓越能力相结合。据我们所知，这是第一个专门设计用于面部表情检测和分类的Vision Mamba模型。为了评估所提出的FER-YOLO-Mamba模型的性能，我们在两个基准数据集RAF-DB和SFEW上进行了实验。实验结果表明，FER-YOLO-Mamba模型相对于其他模型取得了更好的结果。代码可从https://github.com/SwjtuMa/FER-YOLO-Mamba获得。

本论文旨在解决传统基于视觉信息的面部表情识别方法存在的预处理、特征提取和多阶段分类过程中的计算复杂度问题，以及CNN模型难以识别面部表情图像中深层、长距离依赖关系的问题。

本论文提出了FER-YOLO-Mamba模型，将Mamba和YOLO技术原理相结合，以便在面部表情图像识别和定位中实现高效协调。在FER-YOLO-Mamba模型中，作者还设计了FER-YOLO-VSS双分支模块，将卷积层在局部特征提取方面的固有优势与状态空间模型在揭示长距离依赖关系方面的卓越能力相结合。

本论文的亮点包括：提出了FER-YOLO-Mamba模型，该模型在RAF-DB和SFEW两个基准数据集上的实验结果表明，相比其他模型，FER-YOLO-Mamba模型的表现更好；设计了FER-YOLO-VSS双分支模块，该模块将卷积层和状态空间模型相结合；作者提供了开源代码。

最近在这个领域中，还有一些相关研究，例如：“Facial Expression Recognition using Deep Learning: A Survey”和“Facial Expression Recognition with Deep Learning: A Survey”，这些研究都探讨了基于深度学习的面部表情识别方法。