Joint Contrastive Learning with Feature Alignment for Cross-Corpus EEG-based Emotion Recognition

将人类情感融入多媒体应用程序，对于丰富用户体验和增强在各种数字平台上的参与度具有巨大潜力。与传统的方法（如问卷调查、面部表情和语音分析）不同，脑信号提供了更直接和客观的情感状态理解。然而，在基于脑电图（EEG）的情感识别领域，以往的研究主要集中于在单个数据集中训练和测试EEG模型，忽视了不同数据集之间的变异性。这种疏忽导致在将EEG模型应用于跨语料库场景时表现出显著的性能降级。在本研究中，我们提出了一种新颖的联合对比学习框架与特征对齐（JCFA），以解决跨语料库EEG情感识别问题。JCFA模型分为两个主要阶段。在预训练阶段，引入了联合域对比学习策略，以表征EEG信号的可推广的时间频率表示，而不使用标记数据。它提取每个EEG样本的强大的基于时间和频率的嵌入，然后在共享的潜在时间频率空间内对其进行对齐。在微调阶段，JCFA与下游任务一起进行优化，考虑了脑电极之间的结构连接。该模型的能力可以进一步增强，以应用于情感检测和解释。对两个著名的情感数据集进行的广泛实验结果表明，所提出的JCFA模型在跨语料库EEG情感识别任务中取得了最先进（SOTA）的性能，平均准确率增加了4.09％，优于第二好的方法。

本论文旨在解决基于脑电图（EEG）的情感识别领域中，跨数据集情感识别的问题，提出了一种新的联合对比学习框架（JCFA）。

JCFA模型分为预训练和微调两个阶段，通过联合域对比学习策略提取EEG信号的可泛化时间频率表示，再在微调阶段考虑脑电极之间的结构连接，以达到跨数据集情感识别的目的。

论文在两个公认的情感数据集上进行了大量实验，JCFA模型在跨数据集情感识别任务中的平均准确率提高了4.09％，表现优于当前最先进的方法。值得注意的是，JCFA模型不需要标记数据进行预训练。

最近的相关研究主要集中在基于EEG的情感识别领域，但是大多数研究只在单个数据集上进行训练和测试，忽略了不同数据集之间的差异性。此外，还有一些研究采用了面部表情和声音分析等传统方法来识别情感。