该论文是关于一篇对抗训练的文章，论文的代码已经开源。对抗训练是一种可以有效抵御对抗攻击的方法，然而其存在一个严重问题，即在训练过程中，模型会出现过拟合现象，PGD 攻击的鲁棒精度突然会下降到 0%。在该论文中，作者从一种新的优化角度来处理这个问题，作者首先揭示了每个样本的快速增长梯度与过拟合之间的密切联系，这也可以用于理解多步自适应算法中的过拟合现象。

为了控制梯度的增长，作者提出了一种新的对抗训练的方法，即子空间对抗训练，它将对抗训练约束在经过严谨提取的子空间中。实验结果显示，该方法成功地解决了这种模型过拟合问题，并显著提高了模型的鲁棒性，而且时间能耗上也比 PGD-10 小很多。

 

 

论文标题：

Subspace Adversarial Training

论文链接：

https://arxiv.org/abs/2111.12229

代码链接：

https://github.com/nblt/Sub-AT

内容中包含的图片若涉及版权问题，请及时与我们联系删除