PolyGlotFake: A Novel Multilingual and Multimodal DeepFake Dataset

随着生成式人工智能的快速发展，同时操纵音频和视觉模态的多模态深度伪造技术引起了越来越多的公众关注。目前，深度伪造检测已经成为应对这些威胁不断增长的重要策略。然而，作为训练和验证深度伪造检测器的关键因素，大多数现有的深度伪造数据集主要集中在视觉模态上，而极少数多模态数据集使用过时的技术，并且其音频内容仅限于单一语言，因此无法代表当前深度伪造技术中的最新进展和全球化趋势。为了填补这一空白，我们提出了一种新颖、多语言和多模态的深度伪造数据集：PolyGlotFake。它包括七种语言的内容，使用各种先进和流行的文本转语音、语音克隆和唇形同步技术创建。我们使用最先进的检测方法对PolyGlotFake数据集进行了全面的实验。这些实验展示了数据集的重大挑战以及它在推进多模态深度伪造检测研究方面的实际价值。

如何解决多模态深度伪造技术带来的隐私安全问题？当前多数深度伪造数据集只关注视觉模态，缺乏对多语言、多模态的支持。

提出了一个新的、多语言、多模态的深度伪造数据集PolyGlotFake，其中包括使用各种先进的TTS、语音克隆和唇语同步技术创建的七种语言的内容。通过在PolyGlotFake数据集上使用最先进的检测方法进行全面实验，展示了该数据集的重要挑战和实际价值。

PolyGlotFake数据集是一个新的、多语言、多模态的深度伪造数据集，涵盖了多种先进的TTS、语音克隆和唇语同步技术。实验使用了最先进的检测方法，展示了该数据集的实际价值和重要挑战。

近期的相关研究包括Deepfake Detection Challenge (DFDC)、Celeb-DF、FaceForensics++等。