Fake News Detection and Manipulation Reasoning via Large Vision-Language Models

随着媒体操纵的快速蔓延，虚假新闻成为信息安全和公众舆论的日益威胁。因此，虚假新闻检测引起了学术界的广泛关注。传统的虚假新闻检测模型在真实性二元分类方面表现出色，但它们基于新闻内容推理详细的伪造痕迹的能力仍未得到充分探索。此外，由于缺乏外部知识，现有方法在与事实相关的新闻上的表现值得怀疑，这使得它们的实际实施不明确。在本文中，我们提出了一个新的多媒体研究主题，即操纵推理。操纵推理旨在根据新闻内容推理操纵。为了支持这项研究，我们引入了一个虚假新闻检测和操纵推理基准，称为以人为中心和与事实相关的虚假新闻（HFFN）。该基准突出了人的中心地位和高度的事实相关性，并进行了详细的手动注释。HFFN涵盖了四个现实领域，其中虚假新闻样本通过三种操纵方法生成。此外，我们提出了一个多模态新闻检测和推理语言模型（M-DRUM），不仅可以判断多模态新闻的真实性，还可以提出潜在操纵的分析推理。在特征提取层面上，采用交叉注意机制从多模态输入中提取细粒度的融合特征。在推理层面上，一个大型视觉语言模型（LVLM）作为骨干结构，有助于促进与事实相关的推理。采用两阶段训练框架，以更好地激活识别和推理能力。综合实验表明，我们的模型优于最先进的虚假新闻检测模型和强大的LVLM，如GPT-4和LLaVA。

本文旨在解决假新闻检测模型在推理潜在操纵方面的不足，并提出了一种新的多媒体研究主题——操纵推理。同时，为了支持该研究，提出了一个人类中心和与事实相关的假新闻（HFFN）基准。该基准包含四个现实领域，通过三种操纵方法生成假新闻样本。

本文提出了一种多模态新闻检测和推理语言模型（M-DRUM），不仅可以判断多模态新闻的真实性，还可以对潜在的操纵进行分析推理。在特征提取层面，采用交叉注意机制从多模态输入中提取细粒度融合特征。在推理层面，采用大视觉语言模型（LVLM）作为骨干，以促进与事实相关的推理。该模型在两阶段训练框架下展现出优异性能。

该论文提出了一个新的多媒体研究主题——操纵推理，并提出了一个人类中心和与事实相关的假新闻（HFFN）基准。M-DRUM模型在多模态新闻检测和推理方面表现出色，超过了SOTA假新闻检测模型和强大的LVLMs，如GPT-4和LLaVA。

最近在这个领域中，还有一些相关的研究，如《A Survey of Fake News: Fundamental Theories, Detection Methods, and Opportunities》、《Fake News Detection on Social Media: A Data Mining Perspective》等。