近年来顶会的 SOTA 蒸馏方法多基于 CNN 的中间层特征，而基于输出 logits 的方法被严重忽视了。饮水思源，本文中来自旷视科技 (Megvii)、早稻田大学、清华大学的研究者将研究重心放回到 logits 蒸馏上，对 7 年前 Hinton 提出的知识蒸馏方法（Knowledge Distillation， KD）进行了解耦和分析，发现了一些限制 KD 性能的重要因素，进而提出了一种新的方法「解耦知识蒸馏」（Decoupled Knowledge Distillation，DKD），使得 logits 蒸馏重回 SOTA 行列。

同时，为了保证复现和支持进一步研究，该研究提供了一个全新的开源代码库 MDistiller，该库涵盖了 DKD 和大部分的 SOTA 方法。

论文链接：

https://arxiv.org/abs/2203.08679

代码链接：

https://github.com/megvii-research/mdistiller

内容中包含的图片若涉及版权问题，请及时与我们联系删除