FSBI: Deepfakes Detection with Frequency Enhanced Self-Blended Images

深度伪造技术的进步已经导致了几乎完美的操纵，这些操纵无法被人眼和一些深度伪造检测工具发现。最近，已经提出了几种技术来区分深度伪造和逼真的图像和视频。本文介绍了一种名为“频率增强自混合图像（FSBI）”的深度伪造检测方法。该方法利用离散小波变换（DWT）从自混合图像（SBI）中提取判别特征，用于训练卷积神经网络模型。SBIs通过在图像的副本中引入几个伪造痕迹来将图像与自身混合。这样可以防止分类器过度拟合特定的伪造痕迹，从而学习更通用的表示。然后将这些混合图像输入频率特征提取器，以检测在时域中无法轻易检测到的痕迹。该方法已在FF++和Celeb-DF数据集上进行了评估，并且在交叉数据集评估协议下，获得的结果优于现有技术。

提出一种新的深度伪造视频检测方法，解决现有技术难以检测到的高质量深度伪造视频的问题。

使用自混合图像和离散小波变换提取特征，训练卷积神经网络模型进行深度伪造视频检测。

使用自混合图像可以避免分类器过度拟合特定的伪造痕迹，提高检测的泛化性能；使用离散小波变换可以检测到时域中难以发现的伪造痕迹；在FF++和Celeb-DF数据集上进行了实验，结果优于现有技术。

在深度伪造视频检测领域，已有的相关研究包括DeepFake Detection Challenge（DFDC）和FaceForensics++等。