Understanding and Improving Fast Adversarial Training

论文链接：https://arxiv.org/abs/2007.02617 代码链接：https://github.com/tml-epfl/understanding-fast-adv-training

FGSM+GradAlign真香！本文提出了一种新的正则化方法GradAlign，其通过显式最大化扰动集中的梯度对齐来防止灾难性的过度拟合，并提高了FGSM解决方案的质量。作者单位：洛桑联邦理工学院

最近的工作重点是使对抗训练在计算上对深度学习模型有效。特别是，黄等。 （2020年）表明，当模型在单个训练周期内迅速失去其鲁棒性时，FGSM进行的∞对抗训练可能会由于称为“灾难性过度拟合”的现象而失败。我们证明，如Wong等人所述，向FGSM添加随机步长。（2020年），并不能防止灾难性的过拟合，并且随机性本身并不重要-它的主要作用仅仅是减少扰动的幅度。此外，我们表明，灾难性的过度拟合不是深度和超参数化网络所固有的，而是可能发生在具有少量过滤器的单层卷积网络中。在极端情况下，即使是单个filter也可以使网络在局部高度非线性，这是FGSM训练失败的主要原因。基于此观察，我们提出了一种新的正则化方法GradAlign，该方法通过显式最大化扰动集中的梯度对齐来防止灾难性的过度拟合，并提高了FGSM解决方案的质量。结果，GradAlign可以成功地将FGSM训练也成功应用于较大的∞∞扰动，并减小了多步对抗训练的差距。

内容中包含的图片若涉及版权问题，请及时与我们联系删除