Improving Interpretability and Robustness for the Detection of AI-Generated Images

随着生成模型能力的增强，人工内容检测变得越来越重要且困难。然而，所有流行的解决这个问题的方法都存在领域和生成模型通用性差的问题。在这项工作中，我们关注AI生成图像（AIGI）检测器的鲁棒性。我们分析了现有的基于冻结CLIP嵌入的AIGI检测方法，并展示了如何解释它们，揭示了各种AI生成器产生的图像与真实图像的差异。接下来，我们提出了两种提高鲁棒性的方法：基于去除嵌入向量的有害组件和基于选择图像编码器模型中表现最佳的注意力头。我们的方法使跨模型转移的平均超出分布（OOD）分类得分提高了高达6％。我们还提出了一个新的AIGI检测数据集，并在我们的评估中使用它；我们相信这个数据集将有助于推动进一步的研究。数据集和代码作为补充提供。

本文旨在提高AI生成图像检测器的鲁棒性，解决当前流行的检测方法在不同域和生成模型上泛化能力差的问题。

本文提出两种方法来提高AI生成图像检测器的鲁棒性：去除嵌入向量的有害成分和选择图像编码器模型中表现最佳的注意力头。

本文分析了基于冻结CLIP嵌入的现有最先进的AI生成图像检测方法，并展示了如何解释它们，阐明各种AI生成器生成的图像与真实图像的差异。作者提出了一个新的数据集用于AIGI检测，并在评估中使用它。作者提出的方法可以使跨模型转移的平均超出分布（OOD）分类得分提高高达6％。作者提供了数据集和代码作为补充。

最近在这个领域中，还有一些相关的研究，如《Detecting AI-Generated Images Using a Combination of Pixel and Feature-Level Metrics》、《On the Detection of GAN-Generated Images Based on Double-Stream CNN》等。