本文首发于知乎，作者：傅斯年Walton

这是是一篇知识蒸馏方面的论文回顾总结，总共涉及了20篇相关的paper。作者介绍了知识蒸馏的三种主要方法Logits(Response)-based 、Feature-based、Relation-based以及知识蒸馏的相关应用。

作者将从以下几个方面进行展开，感兴趣的可以戳原文。

  • Intro & Roadmap
  • 知识蒸馏的主要方法
  • Applications(NLP-BERT)
  • QA

内容中包含的图片若涉及版权问题，请及时与我们联系删除