Security Matrix for Multimodal Agents on Mobile Devices: A Systematic and Proof of Concept Study

多模态大语言模型（MLLMs）推动了移动设备上自主代理系统的发展，这些系统包括感知、推理、记忆和多代理协作模块，能够自动分析用户指令，并设计只需自然语言和设备截图作为输入的任务管道。尽管增加了人机交互效率，但MLLMs移动代理系统的安全风险尚未得到系统研究。现有的代理安全基准主要集中在Web场景，而针对MLLMs的攻击技术在移动代理场景中也受到限制。为了填补这些空白，本文提出了一个移动代理安全矩阵，涵盖了代理系统的3个功能模块。基于安全矩阵，本文提出了4条现实攻击路径，并通过8种攻击方法验证了这些攻击路径。通过分析攻击结果，本文揭示了MLLMs移动代理系统不仅容易受到多种传统攻击的攻击，还会引发以前未被考虑的新安全问题。本文强调了在设计MLLMs系统时需要安全意识，并为未来攻击和防御方法的研究铺平了道路。

论文旨在系统研究基于MLLM的移动代理系统的安全性，发现现有的安全基准主要关注Web场景，对于移动代理场景中的攻击技术有限，因此提出了移动代理安全矩阵。

论文提出了一种基于MLLM的移动代理系统安全矩阵，包括3个功能模块。在此基础上，提出了4种现实攻击路径，并通过8种攻击方法验证了这些攻击路径。结果表明，MLLM-based移动代理系统不仅容易受到多种传统攻击的攻击，而且还存在新的安全问题。

论文设计了实验来验证攻击路径，使用了多个数据集，并且公开了相关代码。该论文的亮点是提出了移动代理安全矩阵，并揭示了MLLM-based移动代理系统存在的安全问题。

近期的相关研究主要集中在基于Web的场景中，对于移动代理场景中的攻击技术研究较少。