【题目】Task-Oriented Feature Distillation 【作者】Linfeng Zhang, Yukang Shi, Zuoqiang Shi, Kaisheng Ma, Chenglong Bao 【时间】2020/09 【论文链接】https://papers.nips.cc/paper/2020/file/a96b65a721e561e1e3de768ac819ffbb-Paper.pdf 【代码链接】https://github.com/ArchipLab-LinfengZhang/Task-Oriented-Feature-Distillation 【推荐理由】本文发表在NIPS2020上，提出了面向任务的特征蒸馏方法，在图像分类和3D分类任务上取得了很好的蒸馏效果。基于特征的蒸馏方法是提升蒸馏效果的最新的技巧，但大多数都是利用手工设计特征对蒸馏方法进行改进。本文提出了一种新的面向任务的特征蒸馏方法（TOFD）。面向任务的蒸馏可以很好的捕捉和提炼特征信息给学生模型，作者验证了采用正交损失对特征蒸馏进行改进后，能够提升蒸馏效果。

内容中包含的图片若涉及版权问题，请及时与我们联系删除