Towards Generalizable Deepfake Video Detection with Thumbnail Layout and Graph Reasoning

本文介绍了一种名为缩略图布局（TALL）的简单而有效的策略，将视频剪辑转换为预定义的布局，以实现空间和时间依赖关系的保留。这种转换过程涉及在每个帧内相同位置顺序遮盖帧。然后将这些帧调整大小为子帧，并重新组织为预定的布局，形成缩略图。TALL是模型不可知的，并且非常简单，只需要最少的代码修改。此外，作者还引入了图推理块（GRB）和语义一致性（SC）损失来加强TALL，形成了TALL ++。GRB增强了不同语义区域之间的交互，以捕获语义级不一致的线索。语义一致性损失对语义特征施加一致性约束，以提高模型的泛化能力。在数据集内、跨数据集、扩散生成的图像检测以及深度伪造生成方法识别的广泛实验中，TALL ++取得了超越或可比的最新方法的结果，证明了作者的方法对于各种深度伪造检测问题的有效性。代码可在https://github.com/rainy-xu/TALL4Deepfake找到。

本文旨在解决深度伪造视频检测领域中高计算需求的问题，提出一种简单而有效的策略TALL，旨在实现空间和时间依赖性的保留。

TALL将视频剪辑转换为预定义的布局，通过遮盖同一位置的帧并将其重新组织成缩略图的方式实现。TALL++通过引入图形推理块（GRB）和语义一致性（SC）损失来加强TALL，提高了模型的泛化能力。

本文的实验结果表明，TALL++在各种深度伪造检测问题上都能取得优秀的结果，超过或与现有方法相当。代码已开源。

近期相关研究包括：《Deep Video Portraits》、《Exposing DeepFake Videos By Detecting Face Warping Artifacts》等。