Towards More General Video-based Deepfake Detection through Facial Feature Guided Adaptation for Foundation Model

随着深度学习的兴起，生成模型已经实现了高度逼真的合成图像的创作，但这也带来了由于潜在滥用而产生的挑战。虽然深度伪造检测的研究已经迅速增长，但许多检测方法在处理由新合成技术生成的未知深度伪造时存在困难。为了解决这个泛化挑战，我们提出了一种新颖的深度伪造检测方法，通过调整Foundation Models内部编码的丰富信息，特别是使用CLIP中的图像编码器，该编码器已经在下游任务中展示出了强大的零样本能力。受参数高效微调的最新进展启发，我们提出了一种基于侧网络的解码器，从给定的视频剪辑中提取空间和时间线索，并通过促进面部组件引导（FCG）来鼓励空间特征包括关键面部部位的特征，以实现更强大和更通用的深度伪造检测。通过广泛的跨数据集评估，我们的方法在识别未知深度伪造样本方面表现出卓越的效果，即使在有限的训练样本和操作类型的情况下，也取得了显着的性能提高。与最先进的方法相比，我们的模型在跨数据集评估中平均性能提高了0.9%的AUROC，特别是在具有挑战性的DFDC数据集上取得了4.4%的改进。

本论文旨在解决深度伪造检测面临的泛化挑战，即检测新合成技术生成的未见过的深度伪造视频。

论文提出了一种新颖的深度伪造检测方法，通过在基础模型中适应富信息编码，特别是使用CLIP中的图像编码器，结合侧网络解码器提取空间和时间线索，以及促进面部组件引导（FCG）来提高空间特征的鲁棒性和泛化性。

论文的实验表明，该方法在检测未见过的深度伪造样本方面具有优越的效果，即使训练样本和操纵类型有限也能取得显著的性能提升。该模型在跨数据集评估中实现了平均0.9％ AUROC的性能提升，特别是在具有挑战性的DFDC数据集上实现了4.4％的提高。

近期的相关研究包括：《DeepFake Detection Using Attention Mechanism and Facial Parts Segmentation》、《DeepFake Detection Based on Disentangled Representation Learning》、《DeepFake Detection Using Motion Blur Analysis and One-Step Training》等。