混合精度量化 (Mixed-Precision Quantization) 是模型压缩领域的重要方法。HAWQ (音同Hawk，鹰) 提出了一种基于Hessian矩阵的可以全自动确定混合精度的方法。其核心思想是使用敏感度分析，对神经网络中特别敏感的层使用高量化位宽，对不敏感的层使用低量化位宽。 论文链接：https://papers.nips.cc/paper/2020/file/d77c703536718b95308130ff2e5cf9ee-Paper.pdf 视频简介：https://neurips.cc/virtual/2020/protected/poster_d77c703536718b95308130ff2e5cf9ee.html 相关代码: https://github.com/Zhen-Dong/HAWQ

本文是伯克利人工智能实验室 (BAIR) 发表于NeurIPS 2020的一项工作，提出Hessian矩阵的迹是衡量敏感程度的重要指标，并且基于此进行了组合优化。HAWQ的方法在不同模型和不同任务上泛化很好，取得了SOTA的量化结果 (ImageNet Top1：8MB ResNet50 75.9%，1MB SqueezeNext 68.7%) 。

内容中包含的图片若涉及版权问题，请及时与我们联系删除