PaGoDA: Progressive Growing of a One-Step Generator from a Low-Resolution Diffusion Teacher

为了加速采样，扩散模型（DM）通常会被蒸馏成生成器，直接将噪声映射到数据中的一个步骤。在这种方法中，生成器的分辨率基本上受到教师DM的限制。为了克服这个限制，我们提出了渐进式扩散自编码器（PaGoDA）技术，一种逐步增加生成器分辨率的方法，超越了原始教师DM的分辨率。我们的关键见解是，预训练的低分辨率DM可以通过解决PF-ODE向前推进时间（从适当的下采样图像开始）来确定性地对高分辨率数据进行编码，将其编码到结构化的潜在空间中。使用这个冻结的编码器在自编码器框架中，我们通过逐步增加分辨率来训练一个解码器。由于逐步增加解码器的性质，PaGoDA在我们升采样学生模型时避免了重新训练教师/学生模型，使整个训练流程更加便宜。在实验中，我们使用逐步增长的解码器从预训练模型的64x64分辨率上采样生成512x512样本，与单步蒸馏的稳定扩散（如LCM）相比，推理速度提高了2倍。PaGoDA在ImageNet的所有分辨率上都实现了最先进的FID。此外，我们还展示了PaGoDA在解决反问题和实现可控生成方面的有效性。

论文旨在解决如何通过渐进式增长来提高生成模型的分辨率，超越原始教师模型的限制。

该论文的关键思路是使用预训练的低分辨率模型来编码高分辨率数据，然后使用自动编码器框架逐步增加解码器的分辨率。

PaGoDA可以在不重新训练教师/学生模型的情况下，通过逐步增加解码器的分辨率来提高生成器的分辨率，实验结果表明，PaGoDA在ImageNet数据集上实现了最先进的FID，并且可以用于解决反问题和可控生成。

在这个领域的相关研究包括使用GAN和变分自编码器进行图像生成，以及使用渐进式增长的方法来提高生成器的分辨率，如PGGAN和StyleGAN。