DF40: Toward Next-Generation Deepfake Detection

我们提出了一个全新的综合基准来推动当前的深度伪造检测领域进入下一代。目前，现有的工作主要通过遵循常规做法来识别顶尖的检测算法和模型：在一个特定的数据集上训练检测器（例如FF ++），并在其他流行的深度伪造数据集上进行测试。这种协议通常被视为导航SoTA检测器的“黄金指南”。但是，这些杰出的“赢家”能否真正应用于解决潜藏在现实世界中的各种逼真和多样化的深度伪造问题？如果不能，是什么潜在因素导致了这种差距？在这项工作中，我们发现数据集（包括训练和测试数据集）可能是“主要罪犯”，原因如下：（1）伪造多样性：深度伪造技术通常被称为面部伪造（换脸和面部重现）和整个图像合成（AIGC）。大多数现有数据集仅包含部分类型，实现了有限的伪造方法；（2）伪造逼真度：主要训练数据集FF ++包含过去五年的旧伪造技术。在这些伪造品上“磨练技能”使得难以保证对现今SoTA深度伪造的有效检测；（3）评估协议：大多数检测工作在一个类型上执行评估，例如仅在换脸上进行训练和测试，这阻碍了通用深度伪造检测器的发展。为了解决这个困境，我们构建了一个高度多样化和大规模的深度伪造数据集，称为DF40，其中包括40种不同的深度伪造技术。然后，我们使用4个标准评估协议和7个代表性检测器进行全面评估，共进行了2000多次评估。通过这些评估，我们从各种角度进行了分析，得出了12个新的有见地的发现，为该领域做出了贡献。我们还开放了5个有价值但以前未被充分探索的研究问题，以启发未来的工作。

本论文旨在提出一种全新的综合基准来推动当前深度伪造检测领域的革新。主要问题在于现有的检测算法和模型只针对某一特定数据集进行训练和测试，而无法应对真实世界中多样化和逼真的深度伪造。

本论文的关键思路是构建一个高度多样化和大规模的深度伪造数据集DF40，并使用4种标准评估协议和7种代表性检测器进行全面评估，从多个角度分析，得出12个新的有见地的发现，同时开放5个有价值但以前未被充分探索的研究问题，以激发未来的研究。与当前领域的研究相比，本论文的思路具有新意。

本论文的亮点包括：构建了一个高度多样化和大规模的深度伪造数据集DF40；使用4种标准评估协议和7种代表性检测器进行全面评估，得出12个新的有见地的发现；开放5个有价值但以前未被充分探索的研究问题；

近期在该领域的相关研究包括：DeepFake Detection Challenge (DFDC)、FaceForensics++、Celeb-DF、DeeperForensics-1.0等。