一文带你读懂非结构化稀疏模型压缩和推理优化技术

非结构化稀疏是一种常见的模型压缩策略。本文中，我们将分享一套基于飞桨（PaddlePaddle） 的非结构化稀疏训练和推理的端到端系统，以及为保证训练精度与推理速度而做的优化策略。移动端实测 MobileNetV1，稀疏度 80%，精度损失小于 1%，FP32 和 INT8 模型推理加速 70% 和 60%；稀疏度 90%，精度损失 2.7%，FP32 和 INT8 加速 178% 和 132%。

绝大多数模型压缩策略都是应用在一个训练好的模型上，通过 Fine-tune，最终在精度损失很小的情况下，达到压缩目的。非结构化稀疏需要在剪裁后的模型上，进行全量数据集的稀疏化训练过程。在飞桨模型压缩工具 PaddleSlim 中，实现了非结构化稀疏算法*，不仅支持对权重数据类型为 FP32 模型的稀疏，还支持获得 INT8 的稀疏权重。以下三点是保证训练时间、精度以及最终压缩效果的关键。

非结构化稀疏算法：

https://github.com/PaddlePaddle/PaddleSlim/tree/develop/demo/unstructured_prune

内容中包含的图片若涉及版权问题，请及时与我们联系删除