CSIG云上微表情第42期研讨会成功举办-多模态情感计算：从表情到大脑

微表情是一种短暂的、微弱的、无意识的面部微表情，持续时间往往在0.5s内，能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能，能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低，对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究，由中国图象图形学学会（CSIG）和中国科学院心理研究所主办、CSIG机器视觉专业委员会、CSIG情感计算与理解专业委员会和中科院青促会心理所小组联合承办，中国科学院心理研究所的王甦菁博士与李婧婷博士组织了一系列云上微表情的学术活动。     

首先，倪同学对微表情识别的研究现状进行了分析，并介绍了肌肉运动强度低和微表情持续时间短对微表情识别算法设计带来的困扰、以及微表情的小样本问题。

针对这一问题，倪同学等人提出利用面部表情流图像来探索这种持续时间短、肌肉运动强度低的面部微表情运动，并构建了局部多样性面部微表情识别网络（LD-FMERN）。

特别的，算法框架首先包括一个运动细节增强方法，从而表情流中剔除与微表情无关的运动。然后，通过引入基于不同维度光流特征权重的数据增强策略来生成不同的光应变分量，缓解小样本问题。

随后，增强的面部光流（u/v/s）图像作为输入，通过LD-FMERN网络提取微表情相关特征，并使用空间通道调制器进行优化。此外，优化后的特征还通过局部多样性特征挖掘策略得到进一步增强，以将网络集中在小型且多样化的面部区域。

最后，基于人类视觉规律，倪同学等人提出了一种从网络全局到局部优化的自适应损失函数。

针对这一问题，并且为了利用信号中互补的情感相关信息，蔡同学等人提出融合脑电信号（EEG）和眼电信号（EOG）的优点，从而建立一个更鲁棒的情感识别模型。

首先，蔡同学等人提出了一种通道选择策略，利用脑电信号和标签的互信息来选择合适的通道大小，进而减少信号中的冗余信息并确保提取的特征具有表征性。

其次，通过所提时间窗口分割策略，利用不同的窗口大小对信号进行分割，实现减少特征冗余的同时增加样本数量，从而提高模型的泛化能力。

听众们与讲者对所提方法中的技术细节进行了深入讨论。

在活动的最后，讲座的主持人李婧婷博士对活动进行了总结并对第四十三期CSIG云上微表情活动进行了预告。敬请继续关注！      

此次讲座的回放已经发布在B站：

【42rdCSIG云上微表情：多模态情感计算：从表情到大脑】 https://www.bilibili.com/video/BV1fu411H7aU/?share_source=copy_web&vd_source=da367a2f90a1bbb21d8762ab6354d4ea，欢迎观看！

最后，中国科学院心理研究所微表情应用研究中心（MELAB）诚聘博士后，微表情相关方向、计算机或心理学专业皆可，有意请联系王甦菁老师（wangsujing@psych.ac.cn）。