Evolving from Single-modal to Multi-modal Facial Deepfake Detection: A Survey

这项调查解决了人工智能快速发展中深度伪造检测的重要挑战。随着包括视频、音频和文本在内的人工智能生成媒体变得更加逼真，误用以传播错误信息和进行身份欺诈的风险也增加了。本文聚焦于以人脸为中心的深度伪造，追溯了从传统的单模态方法到处理音频-视觉和文本-视觉场景的复杂多模态方法的演变过程。我们提供了检测技术的全面分类，讨论了生成方法从自编码器和GAN到扩散模型的演变，并按照其独特属性对这些技术进行分类。据我们所知，这是第一篇这样的综述。我们还探讨了如何将检测方法适应新的生成模型以及增强深度伪造检测器的可靠性和鲁棒性，并提出了未来研究的方向。这项调查为研究人员提供了详细的路线图，支持开发技术来对抗媒体创作中人工智能的欺骗性使用，特别是面部伪造。所有相关论文的策划列表可以在\href{https://github.com/qiqitao77/Comprehensive-Advances-in-Deepfake-Detection-Spanning-Diverse-Modalities}{https://github.com/qiqitao77/Awesome-Comprehensive-Deepfake-Detection}找到。

本论文旨在解决随着人工智能技术的快速发展，Deepfake检测变得越来越具有挑战性的问题。论文聚焦于面部Deepfake，提供了从传统单模态方法到处理音频-视觉和文本-视觉场景的复杂多模态方法的演变历程，并对检测技术进行了全面的分类。

本论文提供了一种基于多模态方法的Deepfake检测方案，包括从自动编码器和GAN到扩散模型的生成方法的演变历程，并通过其独特的属性对这些技术进行了分类。

本论文提供了未来研究方向，包括如何适应新的生成模型、如何提高Deepfake检测器的可靠性和鲁棒性等。论文提供了一个相关论文列表，其中包括所有相关研究的论文标题和开源代码。

最近在这个领域中，还有一些相关的研究，例如《Deep Learning for Deepfakes Creation and Detection》、《Deepfake Video Detection Using Recurrent Neural Networks》等。