Security Matrix for Multimodal Agents on Mobile Devices: A Systematic and Proof of Concept Study

多模态大型语言模型（MLLMs）推动了移动设备上自主代理系统的发展，其推理能力的迅速进步使得基于MLLM的移动代理系统包含感知、推理、记忆和多代理协作模块，能够自动分析用户指令并设计仅以自然语言和设备截图为输入的任务流水线。尽管增加了人机交互效率，但MLLM-based移动代理系统的安全风险尚未得到系统研究。现有的代理安全基准主要集中在Web场景上，而针对MLLM的攻击技术在移动代理场景中也受到限制。为了弥补这些差距，本文提出了一个移动代理安全矩阵，涵盖了代理系统的3个功能模块。基于安全矩阵，本文提出了4个现实的攻击路径，并通过8种攻击方法验证了这些攻击路径。通过分析攻击结果，本文揭示了MLLM-based移动代理系统不仅容易受到多种传统攻击的攻击，还引发了以前未考虑的新的安全问题。本文强调了在设计MLLM-based系统时需要安全意识，并为未来攻击和防御方法的研究铺平了道路。

本论文旨在系统研究基于MLLM的移动代理系统的安全风险，提出移动代理安全矩阵，并设计攻击路径和攻击方法来验证该矩阵的有效性。

本论文提出了基于MLLM的移动代理系统的安全矩阵，包括三个功能模块，提出了四条现实攻击路径，并通过八种攻击方法来验证这些攻击路径的有效性。研究结果表明，MLLM-based移动代理系统不仅容易受到传统攻击的影响，而且还存在新的安全问题。

本论文的亮点在于提出了针对MLLM-based移动代理系统的安全矩阵，并通过实验验证了该矩阵的有效性。此外，本论文还揭示了MLLM-based移动代理系统存在的新安全问题，为未来的攻击和防御方法的研究铺平了道路。

最近的相关研究主要集中在Web场景中代理的安全性评估，而在移动代理场景中的攻击技术则相对有限。