Harmfully Manipulated Images Matter in Multimodal Misinformation Detection

如今，虚假信息在各种社交媒体平台上广泛传播，对社会造成极其负面的影响。为了解决这个问题，自动识别虚假信息，特别是包含多模态内容的虚假信息，引起了学术界和工业界的广泛关注，并引发了一个活跃的研究课题，名为多模态虚假信息检测(MMD)。通常，现有的MMD方法捕捉多个模态之间的语义相关性和不一致性，但忽略了多模态内容中的一些潜在线索。最近的研究表明，文章中图像的被篡改痕迹是检测虚假信息的非常重要的线索。同时，我们发现，篡改背后的意图，例如有害和无害，也在MMD中起着重要作用。因此，在这项工作中，我们提出通过学习表明图像是否被篡改的篡改特征，以及有关篡改有害和无害意图的意图特征来检测虚假信息。不幸的是，使这些特征具有区分性的篡改和意图标签是未知的。为了解决这个问题，我们提出了两个弱监督信号作为替代方案，引入了关于图像篡改检测的额外数据集，并将其制定为两个分类任务，作为正面和无标签学习问题。基于这些思想，我们提出了一种新的MMD方法，即有害篡改图像在MMD中很重要(HAMI-M3D)。在三个基准数据集上进行的广泛实验表明，HAMI-M3D可以始终提高任何MMD基线的性能。

本论文旨在解决社交媒体上误导性信息的广泛传播问题，提出了一种多模态误导性检测方法，并探索了图像操纵特征和操纵意图特征对于检测的作用。

本文提出了一种名为HAMI-M3D的多模态误导性检测方法，通过学习操纵特征和操纵意图特征来检测误导性信息，利用两个弱监督信号来解决标签缺失的问题，并在三个基准数据集上进行了广泛的实验。

本文的亮点包括：提出了一种新的多模态误导性检测方法；探索了图像操纵特征和操纵意图特征对于检测的作用；使用两个弱监督信号来解决标签缺失的问题；在三个基准数据集上进行了广泛的实验，证明了该方法的有效性。

最近的相关研究包括：Multimodal Misinformation Detection (MMD)方法；图像操纵检测方法。