Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning

这项研究解决了开发通用的深度伪造检测器的挑战，该检测器可以在有限的训练数据情况下有效地识别未见过的深度伪造图像。现有的基于频率的方法依赖于在GAN管道中上采样时引入的频率级别伪影来检测伪造品。然而，合成技术的快速发展导致每个生成模型都具有特定的伪影。因此，这些检测器在学习频率域方面表现出缺乏熟练度，并倾向于过度拟合训练数据中存在的伪影，从而导致在未见过的来源上表现不佳。为解决这个问题，我们介绍了一种新颖的基于频率的方法，称为FreqNet，围绕频率域学习展开，专门设计以增强深度伪造检测器的通用性。我们的方法强制检测器不断关注高频信息，利用空间和通道维度上的高频特征表示。此外，我们还结合了一个简单的频率域学习模块来学习源无关的特征。它涉及卷积层应用于快速傅里叶变换（FFT）和逆快速傅里叶变换（iFFT）之间的相位谱和幅度谱。广泛的实验涉及17个GAN，证明了我们提出的方法的有效性，展示了最先进的性能（+9.8\%），同时需要更少的参数。代码可在{\cred \url{https://github.com/chuangchuangtan/FreqNet-DeepfakeDetection}}上获得。

开发一种通用的deepfake检测器，能够在有限的训练数据下有效地识别未知的deepfake图片。

提出了一种新的基于频域学习的方法FreqNet，用于增强deepfake检测器的泛化能力。该方法强制检测器不断关注高频信息，利用空间和通道维度上的高频特征表示。此外，还使用了简单的频域学习模块来学习源无关的特征。

在17个GAN上进行了广泛的实验，表明了我们提出的方法的有效性，展示了+9.8％的最先进性能，同时需要更少的参数。代码在GitHub上开源。

最近的相关研究包括：1）使用深度学习进行deepfake检测；2）使用频域分析技术进行deepfake检测；3）使用多模态方法进行deepfake检测。