Technical Report for ICML 2024 TiFA Workshop MLLM Attack Challenge: Suffix Injection and Projected Gradient Descent Can Easily Fool An MLLM

本技术报告介绍了我们排名第一的解决方案，该方案采用两种方法，即后缀注入和投影梯度下降（PGD），以应对TiFA研讨会的MLLM攻击挑战。具体来说，我们首先将一个错误标记选项（伪标记）的文本作为后缀附加到原始查询上。使用这个修改后的查询，我们的第二种方法应用PGD方法对图像添加不可察觉的扰动。结合这两种技术，能够成功攻击LLaVA 1.5模型。

该论文旨在解决针对LLaVA 1.5模型的MLLM攻击挑战。具体来说，它试图通过结合文本和图像的对抗性攻击方法来验证是否可以成功误导模型的输出。这是一个相对较新的问题，随着多模态模型的发展，如何保护这些模型免受对抗性攻击变得越来越重要。

论文的关键思路是结合两种方法：后缀注入和投影梯度下降（PGD）。首先，通过将错误标记选项的文本作为后缀添加到原始查询中，从而修改输入文本。其次，使用PGD方法对图像进行微小但有针对性的扰动。这种方法的新颖之处在于它同时利用了文本和图像中的对抗性样本，以实现对复杂多模态模型的有效攻击。

论文的亮点包括设计了一个创新的两步攻击框架，能够有效地对LLaVA 1.5这样的多模态模型进行攻击。实验部分详细描述了不同参数设置下的攻击成功率，并且展示了在多个数据集上的有效性。此外，作者提供了代码实现，鼓励社区进一步研究和改进这一领域的方法。未来的研究可以探索更多类型的对抗性攻击以及防御机制。

最近在这个领域中，其他相关研究包括《Adversarial Attacks on Multimodal Models》、《Projection-Based Adversarial Attacks for Vision-Language Models》等。这些研究同样关注于多模态模型的安全性和鲁棒性，但采用的具体技术和应用场景有所不同。