Exploring the Robustness of Decision-Level Through Adversarial Attacks on LLM-Based Embodied Models

具身智能赋予了智能体深刻的感知能力，使它们能够以与现实世界情况密切相关的方式做出反应。大型语言模型（LLM）深入研究语言指令，对于生成复杂任务的计划起着至关重要的作用。因此，基于LLM的具身模型进一步增强了智能体理解和处理信息的能力。然而，这种融合也带来了追求更高智能的新挑战。特别是，攻击者可以通过改变LLM的提示来操纵LLM产生无关甚至恶意的输出。面对这一挑战，我们发现缺乏多模态数据集，这些数据集对于全面评估基于LLM的具身模型的鲁棒性至关重要。因此，我们构建了专门用于鲁棒性评估的具身智能机器人攻击数据集（EIRAD）。此外，我们设计了两种攻击策略，包括非定向攻击和定向攻击，以有效模拟各种不同的攻击场景。同时，在攻击过程中，为了更准确地确定我们的方法是否成功攻击了基于LLM的具身模型，我们设计了一种新的攻击成功评估方法，利用BLIP2模型。我们认识到攻击中GCG算法的时间和成本密集性，因此我们设计了一种基于各种目标任务的提示后缀初始化方案，从而加快收敛过程。实验结果表明，我们的方法在针对基于LLM的具身模型进行攻击时表现出更高的攻击成功率，表明这些模型的决策层面鲁棒性较低。

本论文旨在解决LLM-based embodied models的鲁棒性问题，即攻击者可以通过修改LLMs的提示来操纵其输出，而缺乏全面评估这种模型鲁棒性的多模态数据集。

本论文提出了一个新的数据集EIRAD，旨在评估LLM-based embodied models的鲁棒性，并设计了两种攻击策略和一种新的攻击成功评估方法，同时提出了一种基于不同目标任务的提示后缀初始化方案以加快收敛过程。

论文的实验结果表明，该方法在攻击LLM-based embodied models时表现出较高的攻击成功率，说明这种模型在决策层面上的鲁棒性较低。此外，论文提供了EIRAD数据集和开源代码，为进一步研究提供了便利。

近期的相关研究包括《Robustness Verification and Improvement for Machine Learning-based Autonomous Driving Systems》、《Adversarial Examples for Semantic Segmentation and Object Detection》等。