Exploiting Style Latent Flows for Generalizing Deepfake Detection Video Detection

本文提出了一种新的方法来检测伪造视频，基于对风格潜向量的分析和它们在生成视频的时间变化中的异常行为。我们发现，在生成具有各种面部表情和几何变换的时间稳定视频时，生成的面部视频在风格潜向量的时间变化中存在时序区别，这是不可避免的。我们的框架利用了StyleGRU模块，通过对比学习进行训练，来表示风格潜向量的动态属性。此外，我们引入了一个风格注意力模块，将StyleGRU生成的特征与基于内容的特征相结合，使得可以检测视觉和时间上的伪像。我们在深度伪造检测的各种基准场景中展示了我们的方法，在跨数据集和跨操作场景中展现了其优越性。通过进一步分析，我们还验证了利用风格潜向量的时间变化来提高深度伪造视频检测的普适性的重要性。

本文旨在通过分析样式潜在向量及其在生成视频的时间变化中的异常行为，提出一种新的检测伪造视频的方法。作者发现，生成的面部视频在样式潜在向量的时间变化中存在时序上的差异性，这是在生成具有各种面部表情和几何变换的时间稳定视频时不可避免的。作者提出了一个利用对比学习训练的StyleGRU模块来表示样式潜在向量动态特性的框架。此外，作者还引入了一个样式注意模块，将StyleGRU生成的特征与基于内容的特征整合在一起，实现对视觉和时间伪影的检测。作者在深度伪造视频检测的各种基准场景中展示了该方法的优越性，证明了使用样式潜在向量的时间变化来提高深度伪造视频检测的普适性的重要性。

本文提出了一种基于样式潜在向量时间变化的检测深度伪造视频的方法。通过使用对比学习训练的StyleGRU模块来表示样式潜在向量的动态特性，并引入样式注意模块，将StyleGRU生成的特征与基于内容的特征整合在一起，实现对视觉和时间伪影的检测。

本文的亮点包括：1.提出了一种新的基于样式潜在向量时间变化的深度伪造视频检测方法；2.使用对比学习训练的StyleGRU模块来表示样式潜在向量的动态特性；3.引入样式注意模块，将StyleGRU生成的特征与基于内容的特征整合在一起，实现对视觉和时间伪影的检测；4.在深度伪造视频检测的各种基准场景中展示了该方法的优越性。

在这个领域中，最近的相关研究包括：1.《Deep Video Portraits》；2.《Exposing DeepFake Videos By Detecting Face Warping Artifacts》；3.《Learning to Detect Fake Face Images in the Wild》等。