Accelerating Image Generation with Sub-path Linear Approximation Model

扩散模型显著推进了图像、音频和视频生成任务的技术水平。然而，它们在实际应用中的速度较慢，这成为了一个限制。我们从一致性模型中借鉴了近似策略的灵感，提出了子路径线性逼近模型（SLAM），它可以加速扩散模型，同时保持高质量的图像生成。SLAM将PF-ODE轨迹视为一系列由采样点分割的PF-ODE子路径，并利用子路径线性（SL）ODE来形成沿每个单独的PF-ODE子路径的渐进和连续的误差估计。在这种SL-ODE上的优化允许SLAM构建具有较小累积逼近误差的去噪映射。我们还开发了一种有效的蒸馏方法，以促进更先进的扩散模型（例如潜在扩散模型）的融合。我们广泛的实验结果表明，SLAM实现了高效的训练方案，仅需要6个A100 GPU天即可生成高质量的生成模型，并能够进行2到4步的高性能生成。在LAION、MS COCO 2014和MS COCO 2017数据集上进行的全面评估也表明，SLAM在少量步骤生成任务中超越了现有的加速方法，在生成图像的FID和质量方面均达到了最先进的性能水平。

本文试图解决扩散模型在实际应用中推理速度较慢的问题，提出了一种名为SLAM的子路径线性逼近模型，以加速扩散模型的推理速度。

SLAM将PF-ODE轨迹视为由采样点分割的一系列PF-ODE子路径，并利用子路径线性（SL）ODE形成沿着每个PF-ODE子路径的渐进连续误差估计。SL-ODE的优化使SLAM能够构建具有较小累积近似误差的去噪映射。

本文提出的SLAM模型在训练效率上具有优势，仅需6个A100 GPU天即可生成高质量的生成模型，并在LAION、MS COCO 2014和MS COCO 2017数据集上实现了最先进的性能。此外，本文还开发了一种高效的蒸馏方法，以便更好地融合更先进的扩散模型，如潜在扩散模型。

最近的相关研究包括：《Latent Diffusion Models for Imputation of Missing Values》、《Image Generation from Sketch Constraint Using GAN》、《Diffusion Probabilistic Models for Image Inpainting》等。