GIM: A Million-scale Benchmark for Generative Image Manipulation Detection and Localization

本文介绍了生成模型在图像编辑和生成逼真图像方面的非凡能力，这成为图像处理中的新趋势，但也对多媒体数据的可信度构成了严重威胁，推动了图像处理检测和定位（IMDL）的研究。然而，IMDL任务的实现面临着缺乏大规模数据基础的问题。为此，本文设计了一个本地处理流程，结合了强大的SAM、ChatGPT和生成模型。在此基础上，提出了GIM数据集，具有以下优点：1）规模大，包括超过一百万对AI操纵图像和真实图像；2）丰富的图像内容，涵盖广泛的图像类别；3）多样的生成操纵，使用最先进的生成器和各种操纵任务进行操纵。上述优点使得IMDL方法的评估更加全面，扩展了其适用性到不同类型的图像。本文引入了两个基准设置来评估基线方法的泛化能力和综合性能。此外，提出了一种新的IMDL框架，称为GIMFormer，它由ShadowTracer、Frequency-Spatial Block（FSB）和Multi-window Anomalous Modelling（MWAM）模块组成。在GIM上进行了大量实验，结果表明GIMFormer在两个不同的基准测试中显著超越了先前的最先进工作。

论文旨在解决图像生成模型带来的图像篡改问题，提出了一个本地篡改管道和一个大规模的图像数据集GIM，以便更全面地评估图像篡改检测和定位方法的可行性。

论文的关键思路是设计了一个本地篡改管道，将强大的SAM、ChatGPT和生成模型结合起来，以生成大规模的图像数据集GIM，并提出了一个新的篡改检测和定位框架GIMFormer，包括ShadowTracer、FSB和MWAM模块。

值得关注的是，GIM数据集包含超过一百万对AI篡改图像和真实图像，涵盖了广泛的图像类别，并且具有多样化的生成篡改。论文提出了两种基准设置来评估基线方法的综合表现和泛化能力。实验结果表明，GIMFormer在两个基准测试中都明显优于之前的最新工作。

在这个领域中，最近还有一些相关研究，如："Towards Realistic Face Photo-Sketch Synthesis via Composition-Aided GANs"和"Learning to Detect Image Manipulation from Inconsistent Images"。