FMM-Attack: A Flow-based Multi-modal Adversarial Attack on Video-based LLMs

尽管基于视频的大型语言模型(LLMs)表现出色，但它们的对抗威胁仍未被探索。为了填补这一空白，我们提出了第一个专门针对视频型LLMs的对抗攻击，通过在视频中的一小部分帧上制作基于流的多模态对抗扰动，称为FMM-Attack。广泛的实验表明，我们的攻击可以有效地诱导视频型LLMs在视频中添加不可察觉的对抗扰动时生成错误答案。有趣的是，我们的FMM-Attack也可以导致模型输出中的语音混乱，促使视频型LLMs出现幻觉。总的来说，我们的观察启发了进一步了解多模态的鲁棒性和安全相关特征的对齐，这对于各种大型多模态模型非常重要。我们的代码可在https://github.com/THU-Kingmin/FMM-Attack上获得。

本论文旨在探讨视频语言模型（LLMs）的对抗威胁，并提出了第一个针对视频LLMs的对抗攻击方案。

该论文提出了一种基于流的多模态对抗扰动攻击方法，即FMM-Attack，可以在视频的一小部分帧上进行攻击，从而诱使视频LLMs生成错误答案。

该论文的实验表明，FMM-Attack可以有效地诱导视频LLMs生成错误答案，甚至导致模型输出混乱，产生幻觉。此外，该论文还提供了开源代码。

相关研究包括对抗攻击和防御方法的研究，以及多模态模型的鲁棒性和安全性相关的研究。