Vision-Language-Action Safety: Threats, Challenges, Evaluations, and Mechanisms

视觉—语言—动作（VLA）模型正日益成为具身智能的统一基础架构。这一发展趋势催生了一类全新的安全挑战，其根源正在于VLA系统的具身性特征，具体包括：物理世界中不可逆的实际后果、覆盖视觉、语言与状态等多模态通道的复合型攻击面、防御措施所面临的实时性延迟约束、长时程任务轨迹中错误的持续累积与传播，以及数据供应链各环节中存在的脆弱性。然而，当前相关研究仍分散于机器人学习、对抗机器学习、人工智能对齐（AI alignment）及自主系统安全等多个彼此割裂的领域。本综述旨在为VLA模型的安全问题提供一个统一、全面且与时俱进的系统性概览。我们依据两条并行的时间轴对研究领域进行组织：一是攻击发生时机（训练阶段 vs. 推理阶段），二是防御实施时机（训练阶段 vs. 推理阶段），并据此将每一类威胁精准对应至其最适宜被缓解的关键阶段。首先，我们界定VLA安全的研究范畴，明确其既区别于纯文本大语言模型（LLM）的安全问题，也不同于传统机器人系统的安全考量；同时回顾VLA模型的基础知识，涵盖其典型架构、训练范式与推理机制。随后，我们从四大维度——攻击手段、防御策略、评估方法与实际部署——系统梳理现有文献：在攻击方面，涵盖训练阶段的数据投毒与后门植入，以及推理阶段的对抗性贴片攻击、跨模态扰动、语义越狱（semantic jailbreaks）和冻结攻击（freezing attacks）；在防御方面，分别评述训练阶段与运行时（runtime）阶段的应对技术；在评估方面，分析当前主流基准测试与评价指标；在部署方面，探讨VLA模型在六大实际应用场景中所面临的安全挑战。最后，我们指出若干亟待突破的关键开放性问题，包括：面向具身任务轨迹的可验证鲁棒性（certified robustness）、物理世界中切实可行的防御方案、内生于训练过程的安全感知机制（safety-aware training）、统一的运行时安全架构（unified runtime safety architectures），以及标准化的安全评估体系。

Vision-Language-Action（VLA）模型作为具身智能的统一基座，其安全挑战既不同于纯文本大语言模型（LLM）的安全问题（如 hallucination 或越狱），也区别于传统机器人安全（如运动学约束或硬件故障）。本文系统性地识别并形式化了VLA特有的五类安全挑战：不可逆物理后果、跨模态（视觉/语言/状态）攻击面、实时防御延迟约束、长程行为中的错误传播、以及数据供应链脆弱性。这是一个新兴且亟待整合的交叉问题——此前研究分散在机器人学习、对抗机器学习、AI对齐与自主系统安全等领域，缺乏统一框架。

提出以‘双时间轴’（attack timing × defense timing）为核心的统一分类框架——将威胁与防御分别解耦为训练时（training-time）和推理时（inference-time）两个正交维度，形成4象限映射（如训练时数据投毒 vs. 推理时语义越狱；训练时鲁棒预训练 vs. 运行时动态监控）。该框架首次将具身智能的安全治理结构化为可定位、可归因、可阶段化干预的工程流程，超越了现有工作多聚焦单一攻击类型或孤立防御机制的碎片化范式。

论文是首篇全面综述VLA安全的权威调研，覆盖攻击（含新型‘冻结攻击’freeze attacks与跨模态扰动）、防御（含物理可实现性约束下的运行时架构）、评估（指出当前基准缺失轨迹级鲁棒性指标）及六大部署域（家庭服务、工业物流、医疗辅助等）的风险差异；未报告具体实验（属综述），但系统梳理了12+主流VLA模型（如RT-2、OpenVLA、FusionPolicy）的安全隐患案例；开源配套资源暂未提及，但明确呼吁建立标准化测试套件（如Embodied Safety Bench）；关键开放问题包括：具身轨迹的认证鲁棒性（certified robustness for embodied trajectories）、面向物理世界的轻量级安全中间件、安全感知的端到端VLA训练目标设计。

Recent related works include: 'RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control' (Google DeepMind, 2023); 'OpenVLA: An Open-Source Foundation Model for Visual Language-Action Learning' (Berkeley, 2024); 'Adversarial Attacks on Embodied Agents via Semantic Perturbations' (ICRA 2024); 'Jailbreaking Multimodal LLMs with Physical World Triggers' (NeurIPS 2023 Datasets and Benchmarks Track); 'Safety-Aware Imitation Learning for Autonomous Robots' (CoRL 2023); 'Certified Robustness for Sequential Decision-Making under Sensor Perturbations' (RSS 2024).