One Prompt Word is Enough to Boost Adversarial Robustness for Pre-trained Vision-Language Models

这项研究从文本提示的角度而非模型权重（在本研究中被冻结）这一新颖视角研究了大型预训练视觉-语言模型（VLMs）如CLIP的对抗鲁棒性问题。我们首先展示了对抗攻击和防御的有效性均受所使用的文本提示的影响。在此基础上，我们提出了一种通过学习VLMs的鲁棒文本提示来提高对抗攻击鲁棒性的方法，名为对抗提示调整（APT），该方法具有高效的计算和数据效率。我们在15个数据集和4种数据稀疏度方案（从1-shot到完整训练数据设置）上进行了大量实验，以展示APT相对于手工设计的提示和其他最先进的适应方法的优越性。APT在分布内性能和跨数据集的输入分布移位的泛化能力方面表现出色。令人惊讶的是，仅通过向提示中添加一个学习的词语，APT就可以使准确性和鲁棒性（epsilon=4/255）分别平均提高13%和8.5%以上。在我们最有效的设置中，这种改进进一步增加，准确性和鲁棒性分别提高了26.4%和16.7%。代码可在https://github.com/TreeLLi/APT找到。

本文试图从文本提示的角度研究大型预训练视觉语言模型（VLM）的对抗鲁棒性，并提出一种名为Adversarial Prompt Tuning（APT）的方法来改善模型的鲁棒性。

本文的关键思路是通过学习一个鲁棒的文本提示来提高VLM的对抗鲁棒性，APT方法通过添加一个学习得到的单词来显著提高模型的准确性和鲁棒性。

本文使用15个数据集和4种数据稀疏度方案进行了广泛的实验，证明了APT方法在准确性和鲁棒性方面的优越性，同时具有计算和数据效率。本文提出的APT方法对于输入分布的变化和跨数据集的泛化都表现出良好的能力。本文的代码已经开源。

在相关研究方面，最近也有一些关于对抗鲁棒性的研究，如Adversarial Training、Adversarial Fine-tuning等。