A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends

近年来，随着大模型的显著发展，大型视觉语言模型（LVLMs）在各种多模态理解和推理任务中展现出了卓越的能力。与传统的大型语言模型（LLMs）相比，LVLMs由于更接近多资源实际应用和多模态处理的复杂性，具有巨大的潜力和挑战。然而，LVLMs的漏洞相对未被充分探索，可能会在日常使用中带来潜在的安全风险。本文全面综述了现有LVLM攻击的各种形式。具体而言，我们首先介绍了针对LVLMs的攻击背景，包括攻击初步、攻击挑战和攻击资源。然后，我们系统地回顾了LVLM攻击方法的发展，如对模型输出进行操纵的对抗性攻击、利用模型漏洞进行未经授权的操作的越狱攻击、工程化提示类型和模式的提示注入攻击以及影响模型训练的数据污染。最后，我们讨论了未来有前途的研究方向。我们相信，我们的调查提供了有关LVLM漏洞的当前情况的见解，鼓励更多的研究人员探索和缓解LVLM发展中的潜在安全问题。最新的LVLM攻击论文将持续收集在https://github.com/liudaizong/Awesome-LVLM-Attack。

LVLM模型的安全漏洞问题尚未得到充分探索，可能存在潜在的安全风险。

综合回顾了现有的LVLM攻击形式，包括对模型输出进行的对抗攻击、利用模型漏洞进行的越狱攻击、工程化提示类型和模式的提示注入攻击以及影响模型训练的数据污染攻击。

论文介绍了LVLM攻击的背景、挑战和资源，并提供了一个收集最新LVLM攻击论文的github库。实验使用了哪些数据集和开源代码未提及。

最近的相关研究包括《Adversarial Attacks and Defenses in Images, Graphs and Text: A Review》、《A Survey on Security and Privacy Issues in Machine Learning》等。