Imagine Flash: Accelerating Emu Diffusion Models with Backward Distillation

扩散模型是一种强大的生成框架，但推理成本很高。现有的加速方法往往会损害图像质量，或在极低步长条件下操作时失败。在这项工作中，我们提出了一种新的蒸馏框架，旨在通过仅使用一到三个步骤实现高保真度、多样化的样本生成。我们的方法包括三个关键组成部分：（i）反向蒸馏，通过在其自身的反向轨迹上校准学生，缓解了训练-推理差异；（ii）移位重构损失，根据当前时间步动态调整知识转移；以及（iii）噪声校正，一种推理时的技术，通过解决噪声预测中的奇异性来增强样本质量。通过大量实验，我们证明了我们的方法在定量指标和人类评估方面优于现有竞争对手。值得注意的是，它仅使用三个去噪步骤就能达到与教师模型相当的性能，实现了高效的高质量生成。

本论文旨在解决扩散模型生成的高昂推理成本问题，提出一种新的蒸馏框架以实现高保真度、多样性样本生成。

该方法包括三个关键组件：反向蒸馏、动态适应的平移重构损失和噪声校正，能够在使用1-3步的情况下实现高效高质量的图像生成。

该方法在定量指标和人类评估中均优于现有竞争对手，并且仅使用三个降噪步骤就能实现与教师模型相当的性能，具有很高的实用性。

最近在这个领域的相关研究包括：《Generative Modeling with Sparse Transformers》、《Semantic Image Synthesis with Spatially-Adaptive Normalization》等。