Few-Shot Adversarial Prompt Learning on Vision-Language Models

深度神经网络对于不可察觉的对抗扰动的敏感性引起了广泛关注。受视觉-语言基础模型的成功启发，先前的努力通过将对抗视觉特征与文本监督对齐来实现零样本对抗鲁棒性。然而，在实践中，由于包括重度适应成本、次优文本监督和无控制的自然泛化能力等几个问题，它们仍然不尽人意。在本文中，为了解决这些问题，我们提出了一个少样本对抗提示框架，通过有限的数据调整输入序列，实现了显著的对抗鲁棒性改进。具体而言，我们通过提供从对抗示例中端到端学习的对抗相关文本监督来实现这一点。我们还提出了一种新的训练目标，增强了多模态特征的一致性，同时鼓励自然和对抗示例之间不同的单模态特征。所提出的框架提供了学习对抗文本监督的方法，提供了优越的跨模态对抗对齐，并仅使用1%的训练数据即可匹配最先进的零样本对抗鲁棒性。

本文尝试解决深度神经网络对微小对抗扰动的脆弱性问题，并提出了一种few-shot对抗提示框架。

该框架通过提供对抗文本监督来适应输入序列，并使用一种新的训练目标增强多模态特征的一致性，同时鼓励自然和对抗样本之间差异化的单模态特征。

该框架能够学习对抗文本监督，提供了卓越的跨模态对抗对齐，并只使用1%的训练数据即可与当前最先进的零样本对抗鲁棒性相匹配。

最近的相关研究包括使用文本监督来提高对抗鲁棒性的方法，以及使用few-shot学习来提高模型的泛化能力的方法。例如，Adaptive Adversarial Training和Meta-Attack Defense使用文本监督来提高对抗鲁棒性。