Revisiting the Robust Generalization of Adversarial Prompt Tuning

了解像CLIP这样的大规模预训练视觉语言模型在对抗攻击下的脆弱性，对于确保其在各种下游任务中具有零样本泛化能力至关重要。目前最先进的防御机制通常采用提示学习策略进行对抗微调，以提高预训练模型的对抗鲁棒性，同时保持适应下游任务的效率。这种设置会导致过拟合问题，从而阻碍模型在干净和对抗性样本上的进一步泛化能力的提高。在这项工作中，我们提出了一种自适应的一致性引导对抗提示微调（即CAPT）框架，利用多模态提示学习增强图像和文本特征在对抗性样本上的对齐，并利用预训练的CLIP的强大泛化能力来指导模型，在保持其对干净样本的准确性的同时增强其在对抗性样本上的鲁棒泛化。我们还设计了一种新的自适应一致性目标函数，以平衡微调模型和预训练模型之间对抗性输入和干净输入的一致性。我们在14个数据集和4个数据稀疏方案（从1-shot到完整训练数据设置）上进行了广泛的实验，以展示CAPT相对于其他最先进的适应方法的优越性。CAPT在分布内表现和输入分布转移和跨数据集的泛化方面表现出色。

本论文旨在提高大规模预训练视觉语言模型（如CLIP）对抗攻击的鲁棒性，同时保持其在干净样本上的准确性和泛化性能。

该论文提出了一种自适应的一致性引导对抗提示调整（CAPT）框架，利用多模态提示学习增强图像和文本特征的对齐，以提高模型对抗攻击的鲁棒性，同时保持其在干净样本上的准确性和泛化性能。

该论文在14个数据集和4种数据稀疏度方案上进行了广泛的实验，展示了CAPT相对于其他最先进的适应方法的优越性能。CAPT在分布内性能和输入分布转移下的泛化性能方面都表现出色。该论文还设计了一种新的自适应一致性目标函数来平衡模型对抗输入和干净输入之间的一致性。

最近的相关研究包括：1）对抗训练技术；2）基于预训练模型的对抗鲁棒性提高方法；3）多模态提示学习。