Attacking Transformers with Feature Diversity Adversarial Perturbation

了解Vision Transformer（ViT）背后的机制，特别是其对对抗扰动的脆弱性，对于解决其在实际应用中面临的挑战至关重要。现有的ViT对抗攻击者依赖标签来计算扰动的梯度，并且在其他结构和任务中表现出低的可转移性。本文提出了一种无标签白盒攻击方法，针对基于ViT的模型，该方法对各种黑盒模型具有强大的可转移性，包括大多数ViT变体、CNN和MLP，甚至包括为其他模态开发的模型。我们的灵感来自于ViTs中的特征崩溃现象，其中关键的注意机制过度依赖特征的低频成分，导致中至末层的特征变得越来越相似，最终崩溃。我们提出了特征多样性攻击者，自然加速了这个过程，并取得了显著的性能和可转移性。

本论文旨在解决Vision Transformer（ViT）模型对抗扰动的脆弱性问题，提出一种无需标签的白盒攻击方法，实现对各种黑盒模型的迁移攻击。

论文提出的特征多样性攻击方法能够加速ViT模型中特征塌陷现象的发生，从而实现对ViT及其他结构和任务的迁移攻击。

论文通过实验验证了提出的攻击方法的有效性和迁移性，同时提出了一种新的视觉特征塌陷现象，即注意力机制过度依赖低频特征，导致中后层特征逐渐趋同并最终塌陷。论文还开源了代码和数据集，值得进一步研究。

相关研究包括对ViT模型的标签攻击方法，以及对其他模型的攻击方法，如CNN和MLP。