• Few Shot Network Compression via Cross Distillation
  • Haoli Bai, Jiaxiang Wu, Irwin King, Michael Lyu
  • https://arxiv.org/abs/1911.09450

本文发表在AAAI2020，研究小样本情境下的模型蒸馏。为了克服过拟合的情况，提出了一种新的分层知识蒸馏方法——交叉蒸馏。通过交织教师和学生网络的隐含层，可以有效地减少分层累积的估计误差。提出的方法提供了一个通用的框架，兼容流行的网络压缩技术，如剪枝。在基准数据集上的大量实验表明，在只有少量训练实例的情况下，交叉蒸馏可以显著提高学生网络的准确性。模型新颖独特，对模型蒸馏的研究者有一定参考价值。

内容中包含的图片若涉及版权问题，请及时与我们联系删除