【论文标题】 Layer-adaptive sparsity for the Magnitude-based Pruning

【作者团队】Jaeho Lee, Sejun Park, Sangwoo Mo, Sungsoo Ahn, Jinwoo Shin

【发表时间】  ICLR 2021 

【机构】韩国科学技术院

【论文地址】https://arxiv.org/abs/2010.07611

【代码地址】https://github.com/jaeho-lee/layer-adaptive-sparsity

【推荐理由】

 

简单的基于幅值的剪枝可实现稀疏性和性能之间的最先进的权衡。然而，通常诉诸手工启发式或广泛的超参数搜索。为了填补这一空白，文章提出了一种新的全局剪枝重要性分数，即基于层自适应幅值的剪枝（LAMP）分数，公式如下：

该分数包含了由剪枝引起的模型级L2 失真，并且不需要任何超参数调整或大量计算。在广泛的模型和数据集上，LAMP 始终优于现有流行的分层稀疏选择方案（图1）。此外，当与一次性修剪计划或权重回绕相结合时，LAMP 表现也很可靠（图2）。更深入地研究发现，在更极端的稀疏水平时 LAMP 倾向于在整个层中保持非零权重的数量相对均匀。或许，未修剪权重数量的这种一致性可能是稀疏神经网络最大表达能力的必要条件。

图1. 稀疏性与精度权衡曲线

图2. 稀疏性与精度权衡曲线

内容中包含的图片若涉及版权问题，请及时与我们联系删除