Prompt Injection Attacks on Large Language Models in Oncology

视觉语言人工智能模型（VLM）拥有医学知识，可以在医疗保健中以多种方式使用，包括作为图像解释器、虚拟记录员和一般决策支持系统。然而，在这里，我们展示了目前应用于医学任务的VLM存在根本的安全漏洞：它们可以被提示注入攻击攻击，这可以通过与VLM交互而输出有害信息，而无需访问其参数。我们进行了一项定量研究，评估了四个最先进的VLM在这些攻击中的漏洞性，这些VLM被提议在医疗保健中有用：Claude 3 Opus，Claude 3.5 Sonnet，Reka Core和GPT-4o。使用一组N = 297次攻击，我们展示了所有这些模型都容易受到攻击。具体来说，我们展示了在医学成像数据中嵌入亚视觉提示可以导致模型提供有害输出，并且这些提示对人类观察者来说是不明显的。因此，我们的研究展示了医学VLM中的一个关键漏洞，应在广泛的临床采用之前加以缓解。

本文试图揭示当前用于医疗任务的视觉语言人工智能模型存在的安全漏洞，即容易受到提示注入攻击，导致输出有害信息，需要在广泛临床应用之前进行缓解。

本文对四种最先进的视觉语言人工智能模型进行了定量研究，证明它们都容易受到提示注入攻击。具体来说，将子视觉提示嵌入医疗图像数据中，就可以导致模型提供有害输出，而这些提示对人类观察者是不明显的。

本文的亮点包括：揭示了医疗视觉语言人工智能模型存在的安全漏洞，提出了提示注入攻击的概念；对四种最先进的视觉语言人工智能模型进行了定量研究；使用了包含297个攻击的数据集；实验结果表明，所有模型都容易受到攻击。需要在进一步临床应用之前解决这个问题。

最近在这个领域中，还有一些相关的研究，例如：《在自然语言处理中使用提示注入攻击》、《深度学习模型的安全性：现状和未来方向》等。