Hierarchical Space-Time Attention for Micro-Expression Recognition

微表情识别(MER)旨在识别微表情(ME)视频剪辑中短暂而微妙的面部运动，这些面部运动揭示了真实的情感。最近的MER方法大多只利用ME视频剪辑中的特殊帧或从这些特殊帧中提取光流。然而，它们忽略了运动和时空之间的关系，而面部线索隐藏在这些关系中。为了解决这个问题，我们提出了分层时空注意力(HSTA)。具体来说，我们首先通过级联的单模态时空注意力(USTA)同时处理ME视频帧和特殊帧或数据，以建立微妙的面部运动和特定面部区域之间的联系。然后，我们设计了跨模态时空注意力(CSTA)来实现跨模态数据的高质量融合。最后，我们分层地集成USTA和CSTA来抓住更深层次的面部线索。我们的模型强调时间建模，不忽略特殊数据的处理，并融合不同模态的内容，同时保持它们各自的独特性。在四个基准测试中进行了广泛的实验，结果表明我们提出的HSTA的有效性。具体来说，与CASME3数据集上最新的方法相比，在七类分类中获得了约3%的得分提高。

本论文旨在解决微表情识别中面部运动与时空关系的问题，提出了Hierarchical Space-Time Attention (HSTA)模型。

论文提出了一种层次化的空时注意力模型，通过级联的单模态空时注意力和跨模态空时注意力，实现了微表情的识别。相较于现有方法，该模型强调了时间建模和跨模态数据的融合，提高了微表情识别的准确率。

论文使用了四个基准数据集进行了实验，证明了该模型的有效性。在CASME3数据集中，相较于最新方法，该模型的七类别分类准确率提高了约3%。

近期相关研究包括：\n1. Facial Micro-Expression Recognition: A Survey\n2. Deep Learning for Micro-Expression Recognition: A Survey