Explicit Correlation Learning for Generalizable Cross-Modal Deepfake Detection

随着Deepfakes的普及，人们越来越关注开发通用的检测方法来应对各种类型的Deepfakes。虽然传统的检测方法在特定模态下有效，但在跨模态的Deepfakes检测通用性方面表现不佳。本文旨在明确学习潜在的跨模态相关性，以增强Deepfake检测在各种生成场景下的能力。我们的方法引入了相关性蒸馏任务，该任务基于内容信息建模内在的跨模态相关性。这种策略有助于防止模型仅过度拟合于视听同步。此外，我们提出了Cross-Modal Deepfake Dataset（CMDFD），这是一个包含四种生成方法的全面数据集，用于评估各种跨模态Deepfakes的检测。在CMDFD和FakeAVCeleb数据集上的实验结果表明，我们的方法比现有的最先进方法具有更好的通用性。我们的代码和数据可以在以下网址找到：\url{https://github.com/ljj898/CMDFD-Dataset-and-Deepfake-Detection}。

论文旨在解决深度伪造技术的普适性检测问题，通过引入潜在的跨模态相关性来增强检测能力。

论文提出了一种相关性蒸馏任务的方法，基于内容信息建模内在的跨模态相关性，以防止模型仅过度拟合于音视频同步。

论文提出了Cross-Modal Deepfake Dataset（CMDFD）数据集，包含四种不同的深度伪造生成方法，用于评估不同跨模态深度伪造的检测能力。实验结果表明，该方法在CMDFD和FakeAVCeleb数据集上的性能优于现有的最先进方法。

在最近的相关研究中，也有一些关于深度伪造检测的研究，如《Deep Video Portraits》、《FaceForensics++: Learning to Detect Manipulated Facial Images》等。