FakeBench: Uncover the Achilles' Heels of Fake Images with Large Multimodal Models

最近，由人工智能模型生成的虚假图像已经变得与真实图像无法区分，给虚假图像检测模型带来了新的挑战。因此，仅仅简单地二元判断真假似乎不够可信，缺乏人类可理解的解释。幸运的是，大型多模态模型（LMM）为实现判断过程带来了可能性，但它们的性能尚未确定。因此，我们提出了FakeBench，这是一种首创的透明虚假图像检测基准，由带有人类语言描述的伪造标志的虚假图像组成。FakeBench探索了LMM的两个开放性问题：（1）LMM能否区分由AI生成的虚假图像，以及（2）LMM如何区分虚假图像？具体而言，我们构建了FakeClass数据集，其中包含了6k个来源多样的虚假和真实图像，每个图像都配备了一个关于图像真实性的问答对，用于评估检测能力。为了检验LMM的推理和解释能力，我们提供了FakeClue数据集，其中包含了15k条描述性语句，揭示了虚假图像伪造的关键线索。此外，我们构建了FakeQA，以衡量LMM在细粒度真实相关方面的开放性问题回答能力。我们的实验结果发现，目前的LMM具有适度的识别能力、初步的解释和推理能力，以及可以通过的虚假图像开放性问题回答能力。FakeBench将很快公开发布。

本论文旨在解决人工智能生成的虚假图像难以区分真实图像的问题，提出了FakeBench数据集，用于透明检测虚假图像，并探究大型多模态模型的识别、推理和解释能力。

FakeBench数据集包含FakeClass、FakeClue和FakeQA三个子数据集，分别用于测试大型多模态模型的图像识别、推理和问答能力，通过人类可理解的解释来解决虚假图像检测的问题。

论文使用了6k张真实和虚假的图像构建FakeClass数据集，并添加了问题和答案，用于测试模型的图像识别能力；使用15k个描述构建FakeClue数据集，用于测试模型的推理和解释能力；使用FakeQA数据集测试模型的问答能力。实验结果表明，当前的大型多模态模型具有一定的虚假图像识别能力、初步的推理和解释能力，以及可接受的问答能力。

最近的相关研究包括：(1)GAN生成的虚假图像检测方法；(2)基于图像特征和元数据的虚假图像检测方法；(3)使用深度学习模型进行虚假图像检测的方法。