作者：Pikachu5808 首发于知乎专栏：瞎扯深度学习

深度学习模型压缩与加速是指利用神经网络参数和结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型对计算资源和内存的需求更小，相比原始模型能满足更广泛的应用需求。（事实上，压缩和加速是有区别的，压缩侧重于减少网络参数量，加速侧重于降低计算复杂度、提升并行能力等，压缩未必一定能加速，本文中我们把二者等同看待）

必要性：主流的模型，如VGG-16，参数量1亿3千多万，占用500多MB空间，需要进行300多亿次浮点运算才能完成一次图像识别任务。 可行性：并非所有的参数都在模型中发挥作用，部分参数作用有限、表达冗余，甚至会降低模型的性能，因此，只需训练一小部分的权值参数就有可能达到和原来网络相近的性能甚至超过原来网络的性能（可以看做一种正则化）。 压缩与加速，大体可以从三个层面来做：算法层、框架层、硬件层，本文仅讨论算法层的压缩与加速技术。

阅读原文请跳转知乎查看

内容中包含的图片若涉及版权问题，请及时与我们联系删除