来源：CVPR 2021 论文标题：Diversifying Sample Generation for Accurate Data-Free Quantization 论文链接：https://arxiv.org/abs/2103.01049 作者单位：北京航空航天大学&耶鲁大学&商汤科技

为了应对数据的隐私性和传输问题，研究人员已经提出很多无数据量化方法，但作者研究发现有的基于BN层统计量的无数据量化方法中，生成的数据存在显著的同质化问题：首先，由于合成数据必须与BN统计量匹配，每一层的特征分布当数据会对BN统计过拟合（分布同质化）；其次，现有的无生成数据量化方法中，所有的合成数据样本都通过相同的目标函数进行优化。因此，这些样本的特征分布统计量是相似的（样本水平同质化）。 本文的DSG方案包括两个技术贡献:(1)松弛分布对齐(SDA):松弛BN层特征统计量，松弛统计分布约束;(2)分层样本增强( LSE):对不同的数据样本，采用分层增强的方法对特定层增强。 松弛对齐分布（SDA）：对BN层统计量的均值标准差引入裕度，松弛约束，允许合成数据的统计与BN层的统计参数之间存在一定的差距。在一定范围内，人工合成数据的统计量可以随约束条件的放宽而波动。 分层样本增强（LSE）：将要生成的数据分批，有多少个BN层就分为多少批，每批使用不同的损失函数，分别利用每一层的损失进行增强。 通过这两种方法缓解了同质化问题，使得生成的数据更具多样性，在进行量化时可以获得与真实数据接近的效果。

内容中包含的图片若涉及版权问题，请及时与我们联系删除