Adversarial Fine-tuning of Compressed Neural Networks for Joint Improvement of Robustness and Efficiency

随着深度学习模型越来越多地被整合到我们的日常生活中，确保它们对抗攻击的安全性变得越来越重要。深度学习模型容易受到对抗攻击的影响，攻击者可以通过引入小的、有针对性的扰动来破坏输入数据。对抗训练被提出作为一种缓解策略，可以得到更加健壮的模型。然而，这种对抗鲁棒性需要在训练过程中设计对抗攻击，进而增加了额外的计算成本。这两个目标——对抗鲁棒性和计算效率——似乎是相互冲突的。在这项工作中，我们探讨了两种不同的模型压缩方法——结构化权重剪枝和量化——对对抗鲁棒性的影响。我们特别探讨了对压缩模型进行微调的效果，并呈现了标准微调和对抗微调之间的权衡。我们的研究结果表明，压缩并不会本质上导致模型的鲁棒性损失，对压缩模型进行对抗微调可以大大提高模型的鲁棒性性能。我们在两个基准数据集上进行了实验，结果显示，对抗微调压缩模型可以实现与对抗训练模型相当的鲁棒性性能，同时提高计算效率。

研究深度学习模型的鲁棒性问题，尤其是对抗攻击的问题，以及如何在保持计算效率的前提下提高模型的鲁棒性。

通过压缩模型的两种方法（结构化权重剪枝和量化）来探究对抗训练对模型鲁棒性的影响，并比较标准微调和对抗微调的权衡。

实验结果表明，压缩模型并不会导致模型鲁棒性的丧失，而对抗微调压缩模型可以显著提高模型的鲁棒性，同时提高计算效率。研究使用了两个基准数据集，实验结果表明对抗微调压缩模型的鲁棒性表现可以与对抗训练的模型相媲美。

近期的相关研究包括：《Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning》、《Towards Robustness and Privacy for Deep Learning: An Overview》等。