BitsFusion: 1.99 bits Weight Quantization of Diffusion Model

最近几年，基于扩散的图像生成模型取得了巨大的成功，展示了合成高质量内容的能力。然而，这些模型包含大量参数，导致模型尺寸显著增大，保存和传输成为各种应用的瓶颈，尤其是在资源受限设备上运行的应用。在本研究中，我们开发了一种新的权重量化方法，将Stable Diffusion v1.5的UNet量化为1.99位，实现了一个模型，其尺寸比原始模型小7.9倍，同时展示了比原始模型更好的生成质量。我们的方法包括几种新颖的技术，如为每个层分配最优位数、初始化量化模型以获得更好的性能，以及改进训练策略以显著减少量化误差。此外，我们在各种基准数据集上广泛评估了我们的量化模型，并通过人类评估证明了其卓越的生成质量。

本论文旨在解决基于扩散的图像生成模型参数数量庞大，难以在资源受限设备上应用的问题。

论文提出了一种新的权重量化方法，将Stable Diffusion v1.5的UNet量化为1.99位，使模型大小减小了7.9倍，同时生成质量更好。该方法包括为每层分配最优位数、初始化量化模型以提高性能和改进训练策略以显著降低量化误差等多项技术。

论文通过对各种基准数据集的广泛评估和人类评估，展示了量化模型具有优越的生成质量。实验设计合理，使用了多个数据集，并且开源了代码。

近期在该领域的相关研究包括《Deep Image Prior》、《Improved Techniques for Training GANs》等。