【论文标题】Multimodal Learning for Hateful Memes Detection 【作者团队】Yi Zhou, Zhenhao Chen 【发表时间】2020/11/25 【论文链接】https://arxiv.org/pdf/2011.12870.pdf 【代码链接】https://github.com/joannezhouyi/HatefulMemesChallenge 【推荐理由】本文来自IBM和马里兰大学。文章提出了一个新颖的用于恶意图文检测的多模态学习框架，该模型在恶意图文挑战赛上获得SOTA的结果。 恶意图文检测是一个典型的vision-language任务，近年来获得了大量关注。在传统多模态任务中，视觉和文本信息是语义对齐的。而恶意图文检测任务中的多模态信息是弱对齐的，甚至是不相关的，这使得模型不仅需要理解模因中的内容，还需要对多模态进行推理。为了解决恶意图文检测中图片与文本之间的语义鸿沟，作者提出了一种将图像字幕处理与模因检测过程相结合的方法。

内容中包含的图片若涉及版权问题，请及时与我们联系删除