Multi-modal Mood Reader: Pre-trained Model Empowers Cross-Subject Emotion Recognition

基于脑电图（EEG）的情感识别在神经信号处理和情感计算等领域得到了广泛关注和多样化发展。然而，个体独特的脑部解剖结构导致不同受试者之间的EEG信号存在非常重要的自然差异，这给跨受试者情感识别带来了挑战。尽管最近的研究试图解决这些问题，但它们仍然面临实际有效性和模型框架一致性的局限性。当前的方法经常难以捕捉EEG信号的复杂时空动态，并且未能有效地整合多模态信息，导致性能不佳和跨受试者通用性有限。为了克服这些限制，我们开发了一种基于预训练模型的多模态情绪识别器，用于跨受试者情感识别，利用掩蔽脑信号建模和相互关联的时空注意机制。该模型通过在大规模数据集上进行预训练，学习EEG信号的通用潜在表示，并使用相互关联的时空注意机制来处理从EEG数据中提取的差分熵（DE）特征。随后，提出了一个多级融合层，用于集成区分性特征，最大化不同维度和模态的特征优势。对公共数据集的广泛实验表明，情绪识别器在跨受试者情感识别任务中表现优异，优于现有的最先进方法。此外，从注意力的角度对模型进行了分析，提供了情感相关脑区的定性分析，为神经信号处理中的情感研究提供了有价值的见解。

论文旨在解决跨主体情感识别中的自然差异问题，提出了一种基于预训练模型和多模态特征融合的情感识别模型。

论文提出的模型利用掩蔽脑信号建模和空时注意机制来处理EEG信号的差异熵特征，并采用多级融合层来整合不同维度和模态的特征。

论文的模型在公共数据集上表现优异，超过了现有方法。作者提供了注意力分析，提供了有关情感相关脑区的定性分析，为神经信号处理中的情感研究提供了有价值的见解。

最近的相关研究包括“基于深度学习的跨主体情感识别”和“EEG情感识别中的多模态特征融合方法”。