AVIBench: Towards Evaluating the Robustness of Large Vision-Language Model on Adversarial Visual-Instructions

大型视觉语言模型（LVLMs）在回应用户的视觉指令方面取得了显著进展。然而，这些指令包括图像和文本，容易受到有意和无意的攻击。尽管LVLMs对此类威胁的稳健性至关重要，但目前在这个领域的研究仍然有限。为了填补这一空白，我们引入了AVIBench，这是一个框架，旨在分析LVLMs在面对各种对抗性视觉指令（AVIs）时的稳健性，包括四种基于图像的AVIs、十种基于文本的AVIs和九种内容偏见AVIs（如性别、暴力、文化和种族偏见等）。我们生成了260K个AVIs，涵盖了五个多模态能力类别（九个任务）和内容偏见。然后，我们对14个开源LVLMs进行了全面评估，以评估它们的性能。AVIBench还是一种方便的工具，供从业人员评估LVLMs对AVIs的稳健性。我们的发现和广泛的实验结果揭示了LVLMs的漏洞，并强调即使在像GeminiProVision和GPT-4V这样的高级闭源LVLMs中也存在固有的偏见。这凸显了增强LVLMs的稳健性、安全性和公平性的重要性。源代码和基准将公开发布。

本论文旨在研究大型视觉语言模型（LVLMs）在面对各种恶意视觉指令（AVIs）时的鲁棒性，并探讨LVLMs的内在偏见问题。

作者们提出了AVIBench框架，用于分析LVLMs在面对各种AVIs时的鲁棒性。他们生成了260K个AVIs，包括图像、文本和内容偏见等五个类别的恶意指令，并对14个开源LVLMs进行了全面评估。作者发现即使是先进的LVLMs如GeminiProVision和GPT-4V也存在内在偏见。

AVIBench框架是一个方便的工具，可以用于评估LVLMs的鲁棒性。作者使用了五个任务和内容偏见来生成AVIs。他们的实验结果揭示了LVLMs的脆弱性和内在偏见问题。该论文的代码和基准数据将公开发布。

最近在这个领域中，还有一些相关的研究，如《Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey》、《Towards Robustness and Privacy in Deep Learning based Visual Perception: A Survey》等。