MER 2024: Semi-Supervised Learning, Noise Robustness, and Open-Vocabulary Multimodal Emotion Recognition

多模态情感识别是人工智能中的一个重要研究课题。在过去的几十年中，研究人员通过增加数据集大小和构建更有效的架构取得了显著进展。然而，由于各种原因（如复杂的环境和不准确的标签），当前系统仍无法满足实际应用的需求。因此，我们计划组织一系列情感识别挑战赛，进一步促进该领域的发展。去年，我们推出了MER2023，重点关注多标签学习、噪声鲁棒性和半监督学习三个主题。今年，我们继续组织MER2024。除了扩大数据集大小外，我们还引入了一个新的赛道，即开放词汇情感识别。这个赛道的主要考虑是，现有的数据集通常固定标签空间并使用多数表决来增强注释者的一致性，但这个过程可能限制模型描述微妙情感的能力。在这个赛道中，我们鼓励参与者在任何类别中生成任意数量的标签，旨在尽可能准确地描述情感状态。我们的基线是基于MERTools，代码可在以下链接中找到：https://github.com/zeroQiaoba/MERTools/tree/master/MER2024。

情感识别是人工智能领域的重要研究课题，但目前的系统仍无法满足实际应用需求，本论文旨在通过举办一系列挑战赛促进情感识别领域的发展。

本论文提出了一个新的情感识别挑战赛，旨在解决现有数据集中标签空间固定、无法描述微妙情感的问题。该挑战赛鼓励参与者在任何类别中生成任意数量的标签，以尽可能准确地描述情绪状态。

本论文介绍了MER2024情感识别挑战赛，包括扩大数据集规模和引入开放词汇情感识别赛道。基于MERTools的基线代码已经开源。

最近的相关研究包括情感识别数据集的构建、算法的改进和情感识别与其他任务的结合等。相关论文包括：'AffectNet: A Database for Facial Expression, Valence, and Arousal Computing in the Wild'，'Deep Emotion Recognition with Regularized Convolutional Neural Networks'，'Multimodal Sentiment Analysis: Addressing Key Issues and Setting up Baselines'等。