The MuSe 2024 Multimodal Sentiment Analysis Challenge: Social Perception and Humor Recognition

MuSe 2024是一个多模态情感分析挑战赛，涉及两个当代情感和情感分析问题。在社交感知子挑战（MuSe-Perception）中，参赛者将根据提供的视听数据预测个体的16个不同的社交属性，例如自信、支配力、可爱和真诚等。跨文化幽默检测子挑战（MuSe-Humor）数据集扩展了Passau Spontaneous Football Coach Humor（Passau-SFCH）数据集，专注于在跨语言和跨文化环境中检测即兴幽默。MuSe 2024的主要目标是将来自各种研究领域的广泛受众，包括多模态情感分析、视听情感计算、连续信号处理和自然语言处理。通过促进这些领域的专家之间的合作和交流，MuSe 2024致力于推进情感分析和情感计算在多个模态中的理解和应用。这篇基线论文提供了有关每个子挑战及其相应数据集的详细信息，从每个数据模态提取特征，并讨论了挑战基线。对于我们的基线系统，我们利用了一系列Transformer和专家设计的特征，并在它们上面训练了门控循环单元（GRU）-递归神经网络（RNN）模型，从而得到了一个竞争力的基线系统。在各自子挑战的未见测试数据集上，它实现了MuSe-Perception的平均Pearson相关系数（$\rho$）为0.3573，MuSe-Humor的曲线下面积（AUC）值为0.8682。

MuSe 2024旨在解决情感分析和情感计算跨多种模态的问题，其中包括社交感知和跨文化幽默检测两个子任务。

该论文提出了一种基于Transformer和GRU-RNN模型的竞争性基线系统，利用多种特征进行训练，并在测试集上取得了较好的表现。

该论文提供了两个子任务的详细信息，包括数据集、特征提取方法和基线系统的设计。实验结果表明，该系统在两个子任务上都取得了不错的表现。

最近的相关研究主要集中在多模态情感分析、视听情感计算、连续信号处理和自然语言处理等领域。