\textit{MMJ-Bench}: A Comprehensive Study on Jailbreak Attacks and Defenses for Vision Language Models

随着深度学习的不断进步，大型语言模型（LLMs）及其多模态对应物——视觉语言模型（VLMs）在许多实际任务中表现出了非凡的性能。然而，VLMs面临着重大的安全挑战，例如越狱攻击，攻击者试图绕过模型的安全对齐以引发有害反应。VLMs面临越狱攻击的威胁来自LLMs固有的漏洞和VLMs处理的多个信息通道。虽然已经提出了各种攻击和防御方法，但存在一个明显的差距，即每种方法都在不同的数据集和指标上进行评估，使得不可能比较每种方法的有效性。为了解决这个问题，我们介绍了一个统一的流水线——MMJ-Bench，用于评估VLMs的越狱攻击和防御技术。通过大量实验，我们评估了各种攻击方法对SoTA VLMs的有效性，并评估了防御机制对防御效果和正常任务的模型效用的影响。我们的全面评估通过提供一个统一和系统的评估框架和第一个公开可用的VLM越狱研究基准，为该领域做出了贡献。我们还展示了几个有见地的发现，突出了未来研究的方向。

本论文旨在解决Vision-Language Models（VLMs）面临的安全挑战，特别是Jailbreak攻击的问题。作者试图通过提出一个统一的评估框架来评估不同的攻击和防御技术，以提高VLMs的安全性。

该论文提出了一个名为MMJ-Bench的统一管道，用于评估VLMs的Jailbreak攻击和防御技术。通过大量实验，评估了各种攻击方法对SoTA VLMs的影响，并评估了防御机制对防御效果和模型在正常任务中的效用的影响。

该论文的亮点包括提出了一个统一的评估框架，提供了第一个公开可用的VLM Jailbreak研究基准，并展示了有关VLMs安全性的深入见解。实验使用了多个数据集，并开源了代码。该论文还探讨了未来研究的方向。

最近在这个领域中，还有一些相关的研究，例如“Defending Against Adversarial Language Examples Using Sparse Representations”和“Towards Robust Vision-Language Representation Learning with Contrastive Learning”等。