Deciphering Hate: Identifying Hateful Memes and Their Targets

网络模因已成为个人在社交媒体上表达情感、思想和观点的有力手段。虽然通常被认为是幽默和娱乐的来源，但模因也可以传播针对个人或社区的仇恨内容。大多数现有研究集中在高资源语言中模因的负面方面，忽视了像孟加拉语（又称为孟加拉国语）这样的低资源语言所面临的独特挑战。此外，虽然之前的孟加拉语模因研究集中在检测仇恨模因上，但没有研究它们的目标实体。为了弥补这一差距并促进这一领域的研究，我们引入了一个新的多模态数据集，名为BHM（孟加拉国仇恨模因）。该数据集包括7,148个使用孟加拉语以及代码混合字幕的模因，针对两个任务进行了定制：（i）检测仇恨模因，（ii）检测它们针对的社会实体（即个人、组织、社区和社会）。为了解决这些任务，我们提出了DORA（双重关注框架），这是一个多模态深度神经网络，它系统地从模因中提取重要的模态特征，并与模态特定的特征一起评估它们，以更好地理解上下文。我们的实验表明，DORA在其他低资源仇恨模因数据集上具有普适性，并且优于几种最先进的竞争基线。

论文旨在解决低资源语言（如孟加拉语）中恶意模因检测的问题，同时还要检测模因针对的社会实体。此前的研究忽略了低资源语言所面临的独特挑战。

论文提出了一种多模态深度神经网络DORA，该网络可以系统地提取模因的重要特征，并将它们与模态特定的特征联合评估，以更好地理解上下文。

论文引入了一个新的多模态数据集BHM（Bengali Hateful Memes），其中包含7,148个孟加拉语和混合码字幕的模因，用于检测恶意模因和它们针对的社会实体。实验结果表明，DORA在其他低资源恶意模因数据集上具有通用性，并且优于几种最先进的基线模型。

最近的相关研究主要集中在高资源语言中恶意模因检测方面，而忽略了低资源语言。此外，以前的孟加拉语模因研究主要关注检测恶意模因，而没有关注它们针对的实体。