1 在知识蒸馏中发挥更大教师模型和更强训练策略的作用

论文名称： Knowledge Distillation from A Stronger Teacher (NeurIPS 2022)

论文地址：

https://arxiv.org/pdf/2205.10536.pdf

知识蒸馏背景和本文动机

在深度神经网络性能提升的过程中，模型通常会变得更深更宽。然而，由于计算和内存资源的限制，这种沉重的模型在实际应用中部署起来比较笨拙。

知识蒸馏是指：通过在训练过程中蒸馏更大的模型 (教师) 的知识来提高小模型 (学生) 的性能。

知识蒸馏的本质在于如何将知识从教师模型提炼到学生模型里面。最直观有效的方法是通过 Kullback-Leibler (KL) 散度[1]来匹配教师和学生之间的预测分数。一般来讲，KL 散度使得在训练过程中，可以用更有信息量的监督信息指导学生模型的训练，以期望获得更好的性能。

题目中 "更强的教师模型"，有两个含义：尺寸更大，数据增强策略更先进。

获得更好的知识蒸馏性能的方式之一是尝试不同类型的教师模型 (比如说使用更大的教师模型或者更强的训练策略)，作者在本文中认为：应该借助 "更强的教师模型" 进行知识蒸馏。而针对什么是 "更强的教师模型"，作者推广实验给出了一些建议：

• 除了扩大模型规模，还可以通过先进的训练策略，如标签平滑和数据增强 (label smoothing and data augmentation)，以获得更强的教师模型。但是仅仅有这些是不够的。配备了更强的教师模型之后，学生模型在正常 KD 下的表现可能会下降，甚至性能还不如不用 KD。

为什么是这样呢？作者觉得：

• 当将教师和学生的训练策略转换为更强的训练策略时，教师和学生之间的差异往往会变得相当大。在这种情况下，通过 KL 散度来精确恢复预测可能具有挑战性，并导致 KD 的失败。

所以，作者在本文的动机是：

• 保留教师和学生模型之间的预测关系非常重要。在将知识从 teacher 传给 student 时，我们其实真正关心的是教师模型的偏好 (预测的相对 Rank)，而不是去恢复其预测结果的绝对值。教师预测与学生预测之间的相关性有利于放松 KL 散度的精确匹配，提取内在关系 (intrinsic relations)。

内容中包含的图片若涉及版权问题，请及时与我们联系删除