https://link.springer.com/10.1007/978-3-031-19772-7_34
https://github.com/zhaoshiji123/MTARD
在本文中，作者研究了通过对抗蒸馏来提高小型 DNN 的正常精度和鲁棒精度的方法。Adversarial Robustness Distillation（ARD）用于通过从大型鲁棒模型中提炼来提高小型模型的鲁棒性，它将大型模型视为教师，将小型模型视为学生。尽管之前的工作（RSLAD）通过鲁棒的软标签提高了鲁棒性，但与常规训练的性能相比，正常样本的准确性仍然不理想。
受多任务学习的启发，作者提出了多教师对抗鲁棒性蒸馏（MTARD），通过使用不同的教师模型，每个教师模型负责他们精通的内容。以提高学生模型的鲁棒性和识别正常样本的准确性。例如，我们应用一个鲁棒的教师模型和一个正常训练的教师模型来同时指导鲁棒性和准确性。
然而，由于神经网络的复杂性，教师模型对学生模型有不同程度的影响，甚至会造成灾难性的遗忘。为了缓解这种现象，作者还设计了一种联合训练算法，在对抗蒸馏的不同阶段动态调整教师模型对学生网络的影响。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢