论文标题：A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning 论文链接：https://arxiv.org/abs/2012.13628 作者单位：滑铁卢大学 本文提出一种基于慢启动，快速衰减学习速率调度策略的对抗微调（adversarial fine-tuning ）方法，不仅显著降低计算成本，还大大提高了DNN的准确性和鲁棒性。据作者称，这第一次展示了无需从头开始对抗训练，即可提高任何预训练的神经网络鲁棒性的工作。表现SOTA！性能优于Free AT、PGD AT等方法。

具有PGD的对抗训练（AT）是提高深度神经网络鲁棒性的有效方法。但是，已显示PGD AT有两个主要局限性：i）高计算成本，以及ii）训练期间的极端过拟合导致模型泛化的减少。尽管已经广泛研究了模型容量和训练数据规模等因素对对抗性鲁棒性的影响，但很少关注每个网络优化中非常重要的参数对对抗性鲁棒性的影响：学习率。尤其是，我们假设在对抗训练中进行有效的学习速率安排可以显著减少过度拟合的问题，从而达到甚至无需从头进行对抗训练的程度，而可以简单地通过对抗方式微调预训练模型的程度。基于这种假设，我们提出了一种基于慢启动，快速衰减学习速率调度策略的简单但非常有效的对抗微调（adversarial fine-tuning ）方法，该方法不仅显著降低了所需的计算成本，而且还大大提高了深度神经网络的准确性和鲁棒性网络。实验结果表明，所提出的对抗性微调方法在测试准确性和鲁棒性方面均优于CIFAR-10，CIFAR-100和ImageNet数据集上的最新方法，同时将计算成本降低了8-10倍。 此外，所提出的对抗性微调方法的一个非常重要的好处是，它能够提高任何预先训练的深度神经网络的鲁棒性，而无需从头开始训练模型，这是作者所知的。以前在研究文献中尚未得到证明。

内容中包含的图片若涉及版权问题，请及时与我们联系删除