HiddenSpeaker: Generate Imperceptible Unlearnable Audios for Speaker Verification System

最近几年，深度神经网络的显著进展带来了巨大的便利。然而，高效模型的训练过程需要大量的样本，这带来了巨大的潜在威胁，如未经授权的利用和隐私泄露。为此，我们提出了一个名为HiddenSpeaker的框架，将不可察觉的扰动嵌入到训练语音样本中，并使它们对于采用大规模说话人进行有效训练的基于深度学习的说话人验证系统无法学习。HiddenSpeaker利用简化的误差最小化方法（Single-Level Error-Minimizing，SLEM）生成特定有效的扰动。此外，采用混合目标函数进行人类感知优化，确保扰动对于人类听众是不可区分的。我们在多个演讲人验证领域的最新技术模型上进行了广泛的实验来评估HiddenSpeaker。我们的结果表明，HiddenSpeaker不仅通过不可学习的样本欺骗了模型，而且提高了扰动的不可察觉性，在不同模型之间展示了强大的可转移性。

HiddenSpeaker试图解决的问题是在训练深度学习说话人验证系统时，需要大量样本的问题，可能会导致隐私泄露和未经授权的滥用。作者试图通过在训练语音样本中嵌入不可察觉的扰动，使它们对于使用大规模说话人进行有效训练的深度学习说话人验证系统不可学习。

HiddenSpeaker使用Single-Level Error-Minimizing (SLEM)方法生成特定有效的扰动，并使用混合目标函数进行人类感知优化，以确保扰动不可区分于人类听者。作者在多个最先进的说话人验证模型上进行了广泛的实验来评估HiddenSpeaker，并证明了它不仅可以欺骗模型，使其无法学习样本，而且还可以增强扰动的不可察觉性，展示了在不同模型之间的强大可转移性。

论文的亮点包括使用SLEM方法生成扰动，混合目标函数进行人类感知优化，广泛的实验评估，展示了在不同模型之间的强大可转移性。作者使用了多个最先进的说话人验证模型进行实验，并提供了开源代码。

最近的相关研究包括对抗样本攻击和防御，深度学习模型的隐私和安全，以及说话人验证的其他改进方法。相关论文包括：《Explaining and Harnessing Adversarial Examples》、《Privacy-Preserving Deep Learning》和《Deep Speaker Embeddings for Diarization and Verification》等。