Training-Free Adaptive Diffusion with Bounded Difference Approximation Strategy

最近，扩散模型在合成高质量图像和视频方面取得了巨大成功。然而，在扩散模型中现有的去噪技术通常基于逐步噪声预测，这会导致计算成本高，从而使交互式应用程序的延迟变得不可接受。本文提出了AdaptiveDiffusion，通过自适应减少去噪过程中的噪声预测步骤来缓解这一瓶颈。我们的方法考虑了尽可能跳过噪声预测步骤的潜力，同时保持最终去噪结果与原始全步骤相同。具体而言，跳过策略是由第三阶潜在差异指导的，该指标指示去噪过程中时间步之间的稳定性，这有利于重复使用先前的噪声预测结果。图像和视频扩散模型的大量实验证明，我们的方法可以显着加速去噪过程，同时生成与原始过程相同的结果，平均加速比可达2~5倍，而不会降低质量。

论文旨在解决扩散模型中噪声去除技术的高计算成本和延迟问题，提出一种自适应跳过噪声预测步骤的方法。

AdaptiveDiffusion方法通过考虑噪声预测结果的重复使用潜力，以第三阶潜在差异来指导跳过尽可能多的噪声预测步骤，从而加速去噪过程。

实验结果表明，AdaptiveDiffusion方法在不降低去噪质量的前提下，平均可实现2~5倍的加速。论文使用图像和视频扩散模型进行了广泛的实验，并且开源了代码。

近期的相关研究包括：1.《Training data-efficient image transformers & distillation through attention》；2.《U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation》；3.《Generative Adversarial Networks》等。