CodecFake: Enhancing Anti-Spoofing Models Against Deepfake Audios from Codec-Based Speech Synthesis Systems

当前最先进的基于编解码器的音频合成系统可以通过仅使用来自特定未知说话者的3秒样本来模仿任何人的声音。不幸的是，恶意攻击者可能利用这些技术，导致误用和安全问题。已经开发了反欺骗模型来检测假语音。然而，当前最先进的反欺骗模型是否能有效地对抗基于编解码器的语音合成系统的深度伪造音频仍然没有答案。在本文中，我们收集了广泛的最新编解码器模型，利用它们来重新创建合成语音。这项工作导致创建了CodecFake，第一个基于编解码器的深度伪造音频数据集。此外，我们验证了在常用数据集上训练的反欺骗模型不能检测出当前基于编解码器的语音生成系统的合成语音。所提出的CodecFake数据集使这些模型能够有效地应对这一挑战。

论文旨在验证当前最先进的反欺诈模型是否能有效检测基于编解码器的深度伪造音频，以应对恶意攻击者可能利用这些技术带来的滥用和安全问题。

论文通过收集当前最先进的编解码器模型，使用它们来重新创建合成语音，创建了CodecFake数据集，并验证了常用数据集上训练的反欺诈模型不能有效地检测到当前基于编解码器的语音生成系统的合成语音，提出了一种有效应对这种挑战的方法。

论文的亮点包括创建了CodecFake数据集，验证了当前反欺诈模型不能有效地检测到基于编解码器的合成语音，提出了一种有效的解决方案。实验设计合理，使用了多个数据集，并开源了代码。

最近的相关研究包括“Deepfake Video Detection Using Recurrent Neural Networks”和“Detecting Deepfake Videos with Shallow Audio-Visual Networks”。