Exploring the Robustness of Decision-Level Through Adversarial Attacks on LLM-Based Embodied Models

具身智能赋予了代理人深刻的感知能力，使它们能够以与实际情况密切相关的方式做出响应。大型语言模型（LLM）深入研究语言指令，对于生成复杂任务的计划起着至关重要的作用。因此，基于LLM的具身模型进一步增强了代理人理解和处理信息的能力。然而，这种融合也带来了在追求更高智能水平时的新挑战。具体而言，攻击者可以通过更改提示来操纵LLM产生无关或甚至恶意的输出。面对这一挑战，我们发现缺乏多模态数据集来全面评估LLM具身模型的鲁棒性。因此，我们构建了专门用于鲁棒性评估的具身智能机器人攻击数据集（EIRAD）。此外，我们设计了两种攻击策略，包括非定向攻击和定向攻击，以有效模拟各种不同的攻击场景。同时，在攻击过程中，为了更准确地确定我们的方法是否成功攻击了基于LLM的具身模型，我们设计了一种新的攻击成功评估方法，利用BLIP2模型。我们认识到GCG算法在攻击中的时间和成本密集性，因此我们设计了一种基于不同目标任务的提示后缀初始化方案，从而加快了收敛过程。实验结果表明，我们的方法在针对基于LLM的具身模型时表现出更高的攻击成功率，表明这些模型的决策级别鲁棒性较低。

论文旨在解决LLM-based embodied models的鲁棒性评估问题，构建了一个特定的数据集EIRAD，并提出了两种攻击策略，以及一种新的攻击成功率评估方法。

论文提出了一种新的方法来评估LLM-based embodied models的鲁棒性，并设计了一种新的攻击成功率评估方法，通过EIRAD数据集和两种攻击策略对该方法进行了实验验证。

论文提出的EIRAD数据集和攻击方法对于评估LLM-based embodied models的鲁棒性具有重要意义。实验结果表明，该方法在攻击LLM-based embodied models时具有较高的攻击成功率，暴露了这些模型的决策层面鲁棒性较低的问题。

最近的相关研究包括：'Robustness Evaluation of Deep Learning-Based Image Captioning Models'、'Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey'等。