Searching for Low-Bit Weights in Quantized Neural Networks

论文链接：https://arxiv.org/abs/2009.08695

实验证明在图像分类和超分辨率任务上是比最新方法更高性能的量化神经网络，优于DSQ、LQ-Net等网络，作者单位：北京大学, 华为诺亚, 悉尼大学

具有Low-Bit权重和激活的量化神经网络对于开发AI加速器很有吸引力。然而，大多数常规量化方法中使用的量化函数是不可微的，这增加了量化网络的优化难度。与全精度参数（即32位浮点数）相比，低得多的值是从更小的集合中选择的。例如，在4位空间中只有16种可能性。因此，我们提出将任意量化神经网络中的离散权重视为可搜索变量，并利用差分方法对其进行精确搜索。特别地，每个权重表示为离散值集上的概率分布。在训练期间优化概率，并选择具有最高概率的值以建立所需的量化网络。在基准上的实验结果表明，所提出的方法能够在图像分类和超分辨率任务上产生比最新方法更高性能的量化神经网络。

内容中包含的图片若涉及版权问题，请及时与我们联系删除