Progressive Knowledge Distillation Of Stable Diffusion XL Using Layer Level Loss

这篇文章介绍了两个缩小版的文本到图像模型，分别为SSD-1B和Segmind-Vega，它们的参数分别为13亿和7.4亿。这些模型通过逐层损失逐步删除来实现，重点是减小模型大小同时保持生成质量。作者在https://hf.co/Segmind上公开了这些模型的权重。这种方法通过消除SDXL的残差网络和变压器块，显著减少了参数和延迟。这些紧凑型模型通过利用转移知识有效地模拟了原始的SDXL，并在对比更大的数十亿参数SDXL时取得了有竞争力的结果。作者的工作强调了知识蒸馏和层级损失在减小模型大小的同时保持高质量生成能力的有效性，从而促进了在资源受限环境中更易于部署。

本论文旨在解决Stable Diffusion XL（SDXL）模型的计算需求过高的问题，提出了两个缩小版模型SSD-1B和Segmind-Vega，通过层级损失逐步删除残差网络和Transformer块来减小模型大小，同时保持生成质量。

通过知识蒸馏和层级损失相结合的方法，减小模型大小，同时保持高质量的生成能力。

论文提出的两个缩小版模型SSD-1B和Segmind-Vega在保持高质量生成能力的同时，大大减小了模型参数和延迟，同时在多个数据集上进行了实验验证，模型权重已经开源。

与本论文相关的研究包括：《Generative Modeling with Sparse Transformers》、《Unsupervised Image-to-Image Translation Networks》等。