MMFakeBench: A Mixed-Source Multimodal Misinformation Detection Benchmark for LVLMs

目前的多模态虚假信息检测方法通常假定每个样本只存在单一来源和类型的伪造，这对于现实场景中存在多个伪造来源的情况来说是不足够的。缺乏混合来源虚假信息的基准已经阻碍了该领域的进展。为了解决这个问题，我们引入了MMFakeBench，这是第一个混合来源多模态虚假信息的全面基准。MMFakeBench包括三个关键来源：文本真实性失真、视觉真实性失真和跨模态一致性失真，以及12个虚假信息伪造类型的子类别。我们进一步在零样本设置下对6种流行的检测方法和15个大型视觉语言模型（LVLM）在MMFakeBench上进行了广泛评估。结果表明，当前的方法在这种具有挑战性和现实的混合来源多模态虚假信息检测设置下存在困难。此外，我们提出了一种创新的统一框架，该框架集成了LVLM代理的原理、行动和工具使用能力，显著提高了准确性和泛化性。我们相信这项研究将促进未来对更加现实的混合来源多模态虚假信息的研究，并为虚假信息检测方法提供公正的评估。

本论文旨在解决多源混合的多模态虚假信息检测（MMD）问题，该问题在现实场景中普遍存在，但目前的方法往往只考虑单一来源和类型的伪造。

该论文提出了MMFakeBench，这是一个包括文本真实度扭曲、视觉真实度扭曲和跨模态一致性扭曲等三个关键来源和12个子类虚假信息伪造类型的全面基准测试。论文还提出了一种创新的统一框架，该框架将LVLM代理的理性、行动和工具使用能力集成在一起，显著提高了准确性和泛化性。

论文对6种常见的检测方法和15种大型视觉语言模型（LVLM）在MMFakeBench下进行了广泛的评估，并提出了一个创新的统一框架。此外，论文还开源了数据集和代码，以促进更多的研究。

最近的相关研究包括《Multi-Source Multi-Task Learning for Multi-Modal Fake News Detection》和《A Survey of Multimodal Misinformation Detection》等。