MLLM-Protector: Ensuring MLLM's Safety without Hurting Performance

多模态大型语言模型（MLLMs）的部署带来了一种独特的漏洞：容易受到视觉输入的恶意攻击。我们深入探讨了保护MLLMs免受此类攻击的新挑战。我们发现，图像充当了一种未被考虑对齐的“外语”，这可能使MLLMs容易产生有害响应。不幸的是，与文本LLMs中考虑的离散标记不同，图像信号的连续性质提出了重要的对齐挑战，这使得彻底覆盖可能情况变得困难。这种漏洞加剧了一个事实，即开源MLLMs主要是在有限的图像-文本对上进行微调，这远远少于广泛的基于文本的预训练语料库，这使得MLLMs更容易在显式对齐调整期间遗忘其原始能力。为了解决这些挑战，我们引入了MLLM-Protector，这是一种插拔式策略，结合了轻量级有害检测器和响应解毒剂。有害检测器的作用是识别MLLMs可能产生的有害输出，而解毒剂则纠正这些输出，以确保响应符合安全标准。这种方法有效地减轻了恶意视觉输入带来的风险，而不会影响模型的整体性能。我们的结果表明，MLLM-Protector为MLLM安全的一个以前未解决的方面提供了强大的解决方案。

本论文旨在解决多模态大语言模型（MLLMs）在面对恶意攻击时的漏洞问题，特别是通过视觉输入的攻击。这个问题是否是新问题？

本论文介绍了一种名为MLLM-Protector的解决方案，该方案结合了一个轻量级的有害检测器和一个响应净化器，以有效地减轻恶意视觉输入所带来的风险，同时不影响模型的整体性能。

论文使用了一个轻量级的有害检测器和一个响应净化器来解决MLLMs面对恶意攻击时的漏洞问题。实验结果表明，MLLM-Protector方案可以有效地减轻恶意视觉输入所带来的风险，同时不影响模型的整体性能。值得关注的是，MLLMs面对视觉输入的漏洞问题是一个新问题，而本论文提出的解决方案也是新颖的。

最近的相关研究包括《Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey》、《Adversarial Attacks and Defenses in Images, Graphs and Text: A Review》等。