【标题】IntraQ: Learning Synthetic Images with Intra-Class Heterogeneity for Zero-Shot Network Quantization

【作者团队】Yunshan Zhong, Mingbao Lin, Gongrui Nan, Jianzhuang Liu, Baochang Zhang, Yonghong Tian, Rongrong Ji

【发表日期】2022.5.10

【论文链接】https://arxiv.org/pdf/2111.09136v5.pdf

【推荐理由】学习合成数据已成为零样本量化（ZSQ）的一个有前景的研究方向，它通过低位整数表示神经网络，而无需访问任何真实数据。本文观察到真实数据中类内异质性的有趣现象，并表明现有方法无法在其合成图像中保留这一特性，这导致了有限的性能提高。其提出了新的零样本量化方法，称为IntraQ。首先，通过局部对象增强方法，在合成图像的不同尺度和位置定位目标对象。其次，引入边缘距离约束来形成分布在粗糙区域中的类相关特征。最后，设计了一个软初始损失，它注入了软先验标记，以防止合成图像过度拟合到固定对象。IntraQ被证明很好地保留了合成图像中的类内异质性，并且观察到表现最先进。例如，与先进的ZSQ相比，当MobileNetV1的所有层量化为4位时，IntraQ在ImageNet上获得了9.17%的前MobileNetV1精度。

内容中包含的图片若涉及版权问题，请及时与我们联系删除