Trinity Detector:text-assisted and attention mechanisms based spectral fusion for diffusion generation image detection

本文介绍了一种针对人工智能生成内容（AIGC）技术的伪造检测方法。这些技术包括文本到图像生成，已经导致了深度伪造的恶意使用，引起了对多媒体内容可信度的担忧。将传统的伪造检测方法应用于扩散模型证明是具有挑战性的。因此，本文提出了一种专门针对扩散模型设计的伪造检测方法，称为三位一体检测器。三位一体检测器通过CLIP编码器引入粗粒度的文本特征，并将其与像素域中的细粒度伪造特征进行协调整合，以实现全面的多模态检测。为了提高对扩散生成的图像特征的敏感性，设计了一种多光谱通道注意力融合单元（MCAF），通过自适应融合多个频带提取谱线不一致性，并进一步整合两种模态的空间共现。广泛的实验验证了我们的三位一体检测器方法优于几种最先进的方法，我们的性能在所有数据集上都具有竞争力，并在扩散数据集中提高了高达17.6％的可转移性。

本论文旨在解决深度伪造技术带来的多媒体内容不可信问题，提出了一种针对扩散模型的伪造检测方法Trinity Detector。

Trinity Detector方法将粗粒度文本特征与像素域中的细粒度伪影相结合，通过多光谱通道注意力融合单元（MCAF）提取光谱不一致性，实现两种模态的空间共存，从而提高对扩散生成图像特征的敏感度。

论文实验验证了Trinity Detector方法在多个数据集上的性能优于现有方法，具有较强的泛化能力，同时提供了开源代码。

相关研究包括：Deepfake Detection Challenge (DFDC)、XceptionNet、Patch-based Multi-scale CNN (PMC)等。