名称：Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks 时间：2020/04 作者： Lin Wang, Kuk-Jin Yoon 链接：https://arxiv.org/abs/2004.05937 推荐理由： 近年来，深度神经网络模型在各个领域取得了很大成功然，但模型体积庞大，有数百万(甚至数十亿)个参数，需要巨大算力支撑，不能部署在边缘设备上。知识蒸馏(KD)是要把一个大模型学到的信息传递到另一个小模型的技术。KD常以“学生教师”(S-T)学习为框架，广泛应用于模型压缩和知识转移。本文是关于KD和S-T学习的综述文章。首先解释什么是KD以及它是如何/为什么工作的。然后全面纵览KD方法和S-T框架用于视觉任务的最新进展。总的来说，本文调查了这个研究领域的基本问题，并全面概括了研究进展和技术细节。并系统分析了KD在视觉应用方面的研究现状。最后讨论了现有方法的潜力和未来挑战。本文是入门和深入理解S-T形式知识蒸馏的一篇非常好的文章！值得有兴趣的读者阅读。

内容中包含的图片若涉及版权问题，请及时与我们联系删除