Controlling Whisper: Universal Acoustic Adversarial Attacks to Control Speech Foundation Models

语音启用的基础模型，无论是灵活的基于语音识别的系统还是大型语言模型（LLM）中的音频提示，都变得越来越受欢迎。这些模型中有趣的一点是它们能够使用适当的提示执行除了自动语音识别（ASR）以外的任务。例如，OpenAI Whisper模型可以执行语音转录和语音翻译。随着音频提示的LLM的发展，控制选项的潜力更大。在这项工作中，我们证明了在更大的灵活性下，这些系统可能容易受到模型控制的对抗攻击。在没有访问模型提示的情况下，通过适当地改变音频输入，可以修改系统的行为。为了说明这种风险，我们展示了可以在任何输入语音信号前面添加一个短的通用对抗性声学片段，以覆盖ASR基础模型的提示设置。具体来说，我们成功地使用通用对抗性声学片段来控制Whisper始终执行语音翻译，尽管被设置为执行语音转录。总的来说，这项工作展示了一种新的对多任务语音启用基础模型的对抗攻击形式，在部署这种模型之前需要考虑。

本文旨在探讨多任务语音模型中的对抗攻击问题，尤其是在使用音频提示的大型语言模型中存在的风险。

本文通过在输入语音信号前添加一个通用的对抗性声学片段，成功地控制了OpenAI Whisper模型，使其始终执行语音翻译任务，而不是原本设置的语音转录任务。

本文展示了一种新的对多任务语音启用基础模型的对抗攻击方式，并提醒在部署此类模型之前需要考虑这种风险。实验中使用了OpenAI Whisper模型，并通过添加对抗性声学片段来控制模型执行任务。这项研究的亮点在于揭示了语音启用基础模型的另一种潜在风险。

最近的相关研究包括对抗攻击和防御技术在语音识别和自然语言处理领域的应用。例如，有一些研究探讨了对抗性噪声的生成和检测方法。另外，还有一些研究探讨了如何提高多任务学习的鲁棒性和安全性。