Physical Backdoor Attack can Jeopardize Driving with Vision-Large-Language Models

视觉-大型语言模型（VLM）在自动驾驶中有着巨大的应用前景。尽管VLM具有理解和决策复杂场景的能力，但将其集成到安全关键的自动驾驶系统中会带来严重的安全风险。本文提出了BadVLMDriver，这是针对VLM的首个可通过物理对象实际启动的后门攻击，针对自动驾驶，可以使用常见的物理物品（如红色气球）诱导不安全的行为，例如突然加速，突显了自动驾驶技术面临的重大现实威胁。为了执行BadVLMDriver，我们开发了一个自动化流水线，利用自然语言指令生成嵌入恶意行为的后门训练样本。这种方法允许灵活的触发和行为选择，增强了攻击在不同场景中的隐蔽性和实用性。我们进行了广泛的实验，评估了BadVLMDriver对两种代表性的VLM、五种不同的触发对象和两种恶意后门行为的攻击效果。BadVLMDriver在遇到一个拿着红色气球的行人时，诱导突然加速的攻击成功率达到92％。因此，BadVLMDriver不仅展示了一个关键的安全风险，而且强调了开发强大的防御机制以保护自动驾驶技术免受此类漏洞的迫切需要。

本文旨在探讨大规模语言模型（VLMs）在自动驾驶中的应用前景，以及将其集成到安全关键的自动驾驶系统中可能面临的安全风险。

本文提出了BadVLMDriver，这是针对自动驾驶VLMs的第一个后门攻击，可以使用物理对象实施。BadVLMDriver使用常见的物理物品，例如红色气球，来诱发不安全行为，如突然加速，从而对自动驾驶汽车的安全造成重大威胁。

本文使用自然语言指令开发了自动化流水线，用于生成嵌入恶意行为的后门训练样本。通过使用不同的触发器对象和恶意后门行为，BadVLMDriver在两个代表性的VLMs中实现了92％的攻击成功率。

与本文相关的研究包括对自动驾驶系统的安全性进行评估和提高的研究，以及对VLMs的后门攻击和防御机制的研究。例如，近期的相关研究包括“Towards Evaluating the Robustness of Neural Networks”和“Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering”。