TMPQ-DM: Joint Timestep Reduction and Quantization Precision Selection for Efficient Diffusion Models

扩散模型已成为生成模型领域中的杰出竞争者。这些模型的独特顺序生成过程以数百甚至数千个时间步骤为特征，逐步从纯高斯噪声中重建图像，每个时间步骤都需要对整个模型进行完全推理。然而，这些模型固有的巨大计算需求对部署提出了挑战，因此量化被广泛用于降低位宽以减少存储和计算开销。当前量化方法主要集中在模型方面的优化，忽略了时间维度，如时间步序列的长度，从而允许冗余时间步骤继续消耗计算资源，留下了大量加速生成过程的空间。在本文中，我们介绍了TMPQ-DM，它联合优化时间步长缩减和量化，实现了卓越的性能效率平衡，同时解决了时间和模型优化方面的问题。对于时间步长的缩减，我们设计了一个非均匀分组方案，以适应去噪过程的非均匀性质，从而减轻时间步骤的爆炸性组合。在量化方面，我们采用了一种细粒度的逐层方法，根据它们对最终生成性能的贡献分配不同的位宽，从而纠正了先前研究中观察到的性能下降。为了加快细粒度量化的评估，我们进一步设计了一个超级网络，通过利用共享的量化结果作为精度求解器。这两个设计组件在我们的框架中无缝集成，通过无梯度进化搜索算法快速联合探索指数级的决策空间。

本文试图解决的问题是如何在保证生成模型性能的前提下，提高生成过程的效率，同时解决量化对时间维度的影响。

本文提出了TMPQ-DM框架，通过非均匀分组方案和精细层次的量化方法，同时考虑时间和模型优化，实现了时间步长和量化的联合优化，以达到更好的性能-效率平衡。

本文的实验结果表明，TMPQ-DM相比于其他方法具有更好的性能-效率平衡。实验使用了CelebA-HQ和ImageNet数据集，并开源了代码。值得进一步研究的工作包括如何在其他生成模型中应用TMPQ-DM框架。

最近相关研究包括：《Diffusion Models Beat GANs on Image Synthesis》、《Denoising Diffusion Probabilistic Models》等。