【PaperWeekly】用最简单的方式训练史上最强ResNet-50，性能超过魔改结构的ResNeSt

近日，CMU 的研究人员在 arXiv 上放出了一份技术报告，介绍他们如何通过蒸馏（distillation）训练一个强大的小模型。所提出方法使用相同模型结构和输入图片大小的前提下，在 ImageNet 上的性能远超之前 state-of-the-art 的 FixRes 2.5% 以上，甚至超过了魔改结构的 ResNeSt 的结果。

这也是第一个能在不改变 ResNet-50 网络结构和不使用外部训练数据的前提下，将 ImageNet Top-1 精度提升到 80% 以上的工作，同时对训练要求也不是很高，一台 8 卡 TITAN Xp 就可以训练了。

论文链接： https://arxiv.org/abs/2009.08453

代码链接： https://github.com/szq0214/MEAL-V2

内容中包含的图片若涉及版权问题，请及时与我们联系删除