FER-YOLO-Mamba: Facial Expression Detection and Classification Based on Selective State Space

面部表情识别（FER）在理解人类情感提示方面发挥着关键作用。然而，基于视觉信息的传统FER方法存在一些限制，例如预处理、特征提取和多级分类过程。这不仅增加了计算复杂度，还需要大量的计算资源。考虑到基于卷积神经网络（CNN）的FER方案经常无法识别嵌入面部表情图像中的深层、长距离依赖关系，以及Transformer固有的二次计算复杂度，本文提出了FER-YOLO-Mamba模型，该模型集成了Mamba和YOLO技术的原理，以促进面部表情图像识别和定位的高效协调。在FER-YOLO-Mamba模型中，我们进一步设计了FER-YOLO-VSS双分支模块，将卷积层在局部特征提取方面的固有优势与状态空间模型（SSMs）在揭示长距离依赖关系方面的卓越能力相结合。据我们所知，这是第一个专为面部表情检测和分类设计的Vision Mamba模型。为了评估所提出的FER-YOLO-Mamba模型的性能，我们在两个基准数据集RAF-DB和SFEW上进行了实验。实验结果表明，FER-YOLO-Mamba模型相比其他模型取得了更好的结果。代码可从https://github.com/SwjtuMa/FER-YOLO-Mamba获取。

论文旨在解决传统基于视觉信息的面部表情识别方法在预处理、特征提取和多阶段分类过程中存在的计算复杂度和计算资源消耗等问题，同时也试图解决CNN模型和Transformer模型在面部表情图像识别中存在的限制。

论文提出了一种FER-YOLO-Mamba模型，将Mamba和YOLO技术的原理集成在一起，以促进面部表情图像识别和定位的高效协调。同时，论文还设计了FER-YOLO-VSS双分支模块，将卷积层的本地特征提取和状态空间模型(SSMs)揭示的远程依赖性的卓越能力相结合。

论文的亮点包括：1. 提出了FER-YOLO-Mamba模型，该模型在RAF-DB和SFEW两个基准数据集上的实验结果表明，相比其他模型具有更好的性能。2. 设计了FER-YOLO-VSS双分支模块，可以揭示面部表情图像中的深度、远程依赖性。3. 代码已经开源并可在https://github.com/SwjtuMa/FER-YOLO-Mamba上获取。论文的实验设计详细，使用了两个基准数据集，这些研究值得进一步深入研究。

最近在这个领域中的相关研究包括：1. A Deep Learning Based Approach for Facial Expression Recognition Using Hybrid Deep Neural Networks。2. A Comprehensive Survey of Facial Expression Recognition Techniques。3. A Review of Facial Expression Recognition Techniques。