DBQ: A Differentiable Branch Quantizer for Lightweight Deep Neural Networks

论文链接：https://arxiv.org/abs/2007.09818

本文提出的量化器（DBQ）成功解决了对轻量级网络（如MobileNetV1，MobileNetV2和ShuffleNetV2）进行量化，表现SOTA！性能优于HAQ、RQ和QSM等量化方法，作者团队：UIUC&德州仪器

深度神经网络已经在各种计算机视觉任务上实现了最先进的性能。但是，由于它们的高计算和存储复杂性，它们在资源受限设备上的部署受到了阻碍。虽然各种复杂性降低技术（例如轻量级网络体系结构设计和参数量化）已成功降低了实现这些网络的成本，但这些方法通常被认为是正交的。实际上，现有的量化技术无法在轻量级架构（例如MobileNet）上复制其成功。为此，我们提出了一种新颖的完全可微的非均匀量化器，可以将其无缝映射到有效的基于三进制的点积引擎上。我们对CIFAR-10，ImageNet和Visual Wake Words数据集进行了全面的实验。提出的量化器（DBQ）成功解决了对量化轻量级网络（如MobileNetV1，MobileNetV2和ShuffleNetV2）。 DBQ以最小的训练开销实现了最新的结果，并提供了最佳（最优）的精度-复杂度折衷。

内容中包含的图片若涉及版权问题，请及时与我们联系删除