On the Safety Concerns of Deploying LLMs/VLMs in Robotics: Highlighting the Risks and Vulnerabilities

本文重点讨论将大型语言模型（LLMs）和视觉语言模型（VLMs）集成到机器人应用中所涉及的鲁棒性和安全性关键问题。最近的研究集中于使用LLMs和VLMs来改善机器人任务的性能，例如操作、导航等。然而，这种集成可能会引入重大漏洞，因为语言模型容易受到对抗攻击的影响，可能导致灾难性后果。通过研究LLMs/VLMs和机器人接口的最新工作，我们展示了很容易操纵或误导机器人的行动，导致安全隐患。我们定义并提供了几个可信的对抗攻击示例，并对三个重要的机器人框架进行实验，这些框架集成了语言模型，包括KnowNo VIMA和Instruct2Act，以评估它们对这些攻击的敏感性。我们的实证发现显示了LLM/VLM-robot集成系统的惊人漏洞：简单的对抗攻击可以显著削弱LLM/VLM-robot集成系统的有效性。具体而言，我们的数据表明，在快速攻击下，平均性能下降了21.2％，而在感知攻击下则更为严重，下降了30.2％。这些结果强调了确保先进的LLM/VLM基础机器人系统安全可靠部署的紧迫需要。

本论文旨在解决将大型语言模型（LLMs）和视觉语言模型（VLMs）整合到机器人应用中所带来的鲁棒性和安全性问题。这是一个新的问题。

该论文提出了针对机器人应用中LLMs和VLMs的可行的对抗攻击，并进行了实验验证。结果表明，简单的对抗攻击可以显著破坏LLM/VLM-robot集成系统的有效性。

该论文提出了几种可能的对抗攻击，并在三个著名的机器人框架上进行了实验以评估它们对这些攻击的敏感性。实验结果表明，LLM/VLM-robot集成系统存在显著的漏洞，平均性能下降了21.2％，而在感知攻击下则下降了30.2％。这表明需要采取强有力的对策来确保先进的LLM/VLM基础机器人系统的安全可靠部署。

最近的相关研究包括：《Adversarial Attacks on Neural Network Policies in Robotics》、《Adversarial Attacks on Autonomous Driving Systems: Practical Issues, Implications and Opportunities》等。