Accelerating Diffusion Models with Parallel Sampling: Inference at Sub-Linear Time Complexity

扩散模型已成为生成图像和科学数据的领先方法。由于这些模型的训练和评估成本高昂，降低扩散模型的推理成本仍然是一个主要目标。受到最近通过并行采样技术加速扩散模型的实证成功的启发，我们提出将采样过程分成 $\mathcal{O}(1)$ 个块，每个块内部进行可并行化的 Picard 迭代。严格的理论分析表明，我们的算法实现了 $\widetilde{\mathcal{O}}(\mathrm{poly} \log d)$ 的总时间复杂度，这是第一个具有可证明的关于数据维度 $d$ 的次线性复杂度的实现。我们的分析基于 Girsanov 定理的广义版本，并且适用于 SDE 和概率流 ODE 实现。我们的结果揭示了在快速演化的现代大内存 GPU 集群上快速高效地采样高维数据的潜力。

降低扩散模型的推理成本，实现高维数据的快速高效采样。

将采样过程分成多个可并行迭代的块，实现对高维数据的快速采样。

论文通过理论分析证明了该算法的时间复杂度为$\widetilde{\mathcal{O}}(\mathrm{poly} \log d)$，是第一个实现与数据维度$d$成反比的亚线性时间复杂度的算法。同时，该算法与SDE和概率流ODE实现兼容，具有很高的实际应用价值。

与该论文相关的研究包括：Parallel Multiscale Autoregressive Density Estimation (PMADE)、Implicit Langevin Dynamics and Connection to MCMC和Amortized Population Gibbs Samplers for Hierarchical Models等。