BinaryDM: Towards Accurate Binarization of Diffusion Model

随着扩散模型（DMs）的发展和计算需求的大幅增加，量化成为一种实用的解决方案，以获得紧凑高效的低比特DMs。然而，高度离散的表示导致严重的精度降低，阻碍了将扩散模型量化为超低比特宽度。在本文中，我们提出了BinaryDM，这是一种新颖的准量化训练方法，将扩散模型的权重推向1比特的极限。首先，我们提出了可学习的多基础二值化器（LMB），以恢复由二值化DM生成的表示，这提高了DM关键表示中细节信息的质量。其次，应用低秩表示模仿（LRM）来增强DM的二值化感知优化，缓解了由于细粒度对齐引起的优化方向模糊性。此外，采用渐进初始化策略来训练DM，以避免收敛困难。全面的实验表明，与SOTA扩散模型量化方法相比，BinaryDM在超低比特宽度下实现了显着的精度和效率提升。作为扩散模型的第一个二值化方法，BinaryDM在1比特权重和4比特激活下实现了惊人的16.0倍FLOPs和27.1倍存储节省，展示了其在资源有限场景中部署DMs的实质性优势和潜力。

本文旨在解决量化对于扩散模型（DMs）的精度损失问题，提出了一种新的量化感知训练方法BinaryDM，以将DMs的权重推向1位的极限。

BinaryDM的关键思路是采用可学习的多基础二值化器（LMB）来恢复由二值化DM生成的表示，并应用低秩表示模仿（LRM）来增强DM的二值化感知优化。

实验结果表明，相比当前SOTA的DM量化方法，在超低位宽下，BinaryDM在精度和效率上都有显著的提升，达到了16.0倍的FLOPs和27.1倍的存储节省。论文开源了代码。

最近的相关研究包括《Learning to Quantize Deep Networks by Optimizing Quantization Intervals with Task Loss》和《BRECQ: Pushing the Limit of Post-Training Quantization by Block Reconstruction》。