Towards Robust Vision Transformer via Masked Adaptive Ensemble

对抗训练可以通过有意地将对抗性样本注入到训练数据中，帮助提高视觉Transformer（ViT）对抗攻击的鲁棒性。然而，这种对抗注入的方式不可避免地会在一定程度上降低标准准确度，因此需要在标准准确度和鲁棒性之间进行权衡。此外，目前主要的对抗训练解决方案仍然容易受到自适应攻击的影响。为了解决这些缺点，本文提出了一种新的ViT架构，包括一个检测器和一个分类器，由我们新开发的自适应集成器连接。具体而言，我们在实践中发现，检测对抗性示例可以从引导反向传播技术中受益。在这一发现的驱动下，引入了一种新的多头自注意力（MSA）机制，以增强我们的检测器来嗅探对抗性示例。然后，使用具有两个编码器的分类器，分别从干净图像和对抗性示例中提取视觉表示，通过我们的自适应集成器自适应调整来自两个编码器的视觉表示的比例进行准确分类。这种设计使我们的ViT架构在标准准确度和鲁棒性之间实现了更好的权衡。此外，我们的自适应集成技术允许我们在输入数据中屏蔽随机子集的图像补丁，提高我们的ViT对自适应攻击的鲁棒性，同时保持高标准准确度。实验结果表明，我们的ViT架构在CIFAR-10上实现了最佳的标准准确度和对抗鲁棒性，分别为90.3％和49.8％。

本论文旨在提高Vision Transformers（ViT）的对抗攻击鲁棒性，解决在注入对抗性样本时标准准确性下降的问题，并提出一种新的ViT架构来解决自适应攻击的问题。

论文提出了一种新的ViT架构，包括检测器和分类器，通过自适应集成来自动调整从干净图像和对抗性图像中提取的视觉表示的比例，从而在标准准确性和鲁棒性之间实现更好的权衡。

论文提出的新型ViT架构在CIFAR-10数据集上实现了90.3％的标准准确性和49.8％的对抗鲁棒性。检测器采用了新的多头自注意力机制来检测对抗性样本，分类器采用两个编码器来提取干净图像和对抗性图像中的视觉表示。此外，自适应集成技术使ViT对自适应攻击具有更好的鲁棒性。

最近的相关研究包括使用对抗样本进行训练的其他模型，如AT和TRADES。