Semantic Contextualization of Face Forgery: A New Definition, Dataset, and Detection Method

近年来，深度学习极大地简化了生成逼真的假人脸图像的过程。意识到这种危险，研究人员开发了各种工具来发现这些伪造品。然而，没有人提出基本问题：哪些数字操作会使真实的照片人脸图像变成假的，而另一些则不会？在本文中，我们将人脸伪造放在语义上下文中，并定义了超过人类区分阈值的计算方法是人脸伪造的来源。在我们新定义的指导下，我们构建了一个大型人脸伪造图像数据集，其中每个图像都与一个按层次结构组织的标签集相关联。我们的数据集使得可以使用两个新的测试协议来探究人脸伪造检测器的泛化能力。此外，我们提出了一种面向语义的人脸伪造检测方法，该方法捕捉标签关系并优先考虑主要任务（即真实或伪造人脸检测）。我们展示了所提出的数据集成功地暴露了当前检测器的弱点，同时在训练集中始终提高了它们的泛化能力。此外，我们证明了我们的面向语义的方法优于传统的二进制和多类分类检测器。

本论文旨在将面部伪造置于语义上下文中，并定义了计算方法，以超过人类区分阈值的方式改变语义面部属性，从而成为面部伪造的来源。

通过构建一个大型的面部伪造图像数据集，并将每个图像与一个组织成分层图的标签集相关联，提出了一种面向语义的面部伪造检测方法，该方法捕获标签关系并优先考虑主要任务（即真实或伪造面部检测）。

论文提出了一个新的面部伪造检测数据集，并且提出了两种新的测试协议来探究面部伪造检测器的泛化性能。此外，论文还证明了面向语义的方法优于传统的二元和多类分类方法。

近年来，在面部伪造检测领域还有一些相关的研究，如“Exposing DeepFake Videos By Detecting Face Warping Artifacts”，“Learning to Detect Fake Face Images in the Wild”，“Face Forgery Detection by Modeling the Characteristics of Reflection in Different Lighting Conditions”等。