SKD-TSTSAN: Three-Stream Temporal-Shift Attention Network Based on Self-Knowledge Distillation for Micro-Expression Recognition

本文提出了一种基于自我知识蒸馏的三流时移关注网络（SKD-TSTSAN），用于微表情识别（MER）。微表情是人们试图隐藏真实情感时自发发生的微小面部运动。MER在许多领域中至关重要，包括犯罪分析和心理治疗。然而，MER具有挑战性，因为微表情强度低，微表情数据集大小较小。因此，本文首先利用基于学习的运动放大模块增强微表情肌肉运动的强度，其次在局部空间流中使用高效通道注意力模块（ECA），使网络聚焦于与微表情高度相关的面部区域。此外，动态时间流中使用时间移位模块（TSM），通过混合来自两个不同时间域的微表情运动信息，实现无需额外参数的时间建模。此外，引入自我知识蒸馏（SKD）到MER任务中，通过引入辅助分类器并使用网络的最深层进行监督，鼓励所有块充分探索训练集的特征。最后，在四个微表情数据集（CASME II，SAMM，MMEW和CAS（ME）3）上进行了大量实验。实验结果表明，SKD-TSTSAN优于其他现有方法，并实现了新的最先进性能。他们的代码将在https://github.com/GuanghaoZhu663/SKD-TSTSAN上提供。

本论文旨在解决微表情识别(MER)中面部微小运动的低强度和数据集规模小的问题，这是许多领域，包括犯罪分析和心理治疗中至关重要的问题。

本文提出了一种基于自我知识蒸馏的三流时移关注网络(SKD-TSTSAN)。其中，学习基于运动放大模块用于增强ME肌肉运动的强度，采用高效通道注意力模块(ECA)在本地空间流中使网络专注于与MEs高度相关的面部区域，使用时间移位模块(TSMs)在动态时间流中进行时间建模，引入自我知识蒸馏(SKD)来增强网络性能。最终，该方法在四个ME数据集上实现了新的最优性能。

本文的亮点包括：使用学习基于运动放大模块增强ME肌肉运动的强度；采用高效通道注意力模块(ECA)在本地空间流中使网络专注于与MEs高度相关的面部区域；使用时间移位模块(TSMs)在动态时间流中进行时间建模；引入自我知识蒸馏(SKD)来增强网络性能。实验结果表明，该方法优于现有方法并实现了新的最优性能。

最近的相关研究包括：1. Li等人的“Micro-Expression Recognition Based on Spatial-Temporal Attention and Dynamic Graph Convolutional Network”；2. Li等人的“Micro-Expression Recognition Based on Multi-Scale Convolutional Neural Network and Multi-Modal Feature Fusion”；3. Zhao等人的“Micro-Expression Recognition Based on 3D Convolutional Neural Network with Temporal Attention Mechanism”。