Emotion-Aware Multimodal Fusion for Meme Emotion Detection

社交媒体的话语不断演变，目前已经见证了压倒性的使用模因来表达观点或不满。除了被误用于传播不满情绪外，它们还被公司和政党挖掘以获取公众的意见。因此，模因主要提供情感丰富的洞察力，以确定社会心理。然而，当前的方法尚未有效地建模表达在模因中的情感维度。它们在大型多模态数据集上进行预训练，并且由于受到限制的视觉-语言基础，无法很好地推广。在本文中，我们介绍了MOOD（模因情感数据集），它包含了六种基本情感。然后，我们提出了ALFRED（情感感知多模态融合情感检测），这是一个新颖的多模态神经框架，它（i）明确地建模情感丰富的视觉线索，（ii）通过门控机制实现高效的跨模态融合。我们的研究表明，ALFRED的F1值比现有基线高出4.94％。此外，ALFRED在具有挑战性的Memotion任务中与之前最佳方法竞争激烈。然后，我们通过展示其在最近发布的两个数据集HarMeme和Dank Memes中优于其他基线来讨论ALFRED的领域无关的通用性。此外，我们使用注意力图分析了ALFRED的可解释性。最后，我们强调了由不同模态特定提示的复杂相互作用所带来的固有挑战，以进行模因分析。

本论文旨在解决meme情感分析中情感维度表达不足的问题，提出了一个新的多模态神经框架ALFRED，并引入了MOOD数据集。

ALFRED框架通过显式建模情感丰富的视觉线索和使用门控机制实现了高效的跨模态融合。

实验结果表明，ALFRED相比现有基线模型提升了4.94%的F1值，并在Memotion任务中表现优异。同时，ALFRED在HarMeme和Dank Memes数据集上也表现出了领先的泛化性能。论文还分析了多模态融合中的挑战，并提出了可解释性分析。

与本论文相关的研究包括：M3ER和MMBT等基于多模态的情感分析模型。