Restart Sampling for Improving Generative Processes

Yilun Xu, Mingyang Deng, Xiang Cheng, Yonglong Tian, Ziming Liu, Tommi Jaakkola
[MIT]

重启采样以改进生成过程

  • 动机：解决生成过程(如扩散模型)中涉及到的微分方程，常常需要在速度和质量之间进行权衡。ODE(常微分方程)采样器速度快，但性能会达到平台期，而SDE(随机微分方程)采样器可以提供更高的样本质量，但需要更多的采样时间。
  • 方法：基于这些发现，提出一种名为Restart的新采样算法，以更好地平衡离散误差和收缩。采样方法在添加大量噪声的额外前向步骤和严格遵循后向ODE之间交替。
  • 优势：从经验上看，Restart采样器在速度和准确性上都超过了以前的SDE和ODE采样器。Restart不仅超越了以前最好的SDE结果，而且在CIFAR-10 / ImageNet 64×64上将采样速度提高了10倍/2倍。此外，它在可比采样时间内获得了比ODE采样器更好的样本质量。此外，Restart比以前的采样器更好地平衡了文本-图像对齐/视觉质量与多样性。

提出了一种新的采样算法Restart，能更好地平衡离散化误差和收缩，实验结果显示，Restart在速度和准确性上都超过了之前的SDE和ODE采样器，提高了采样速度和样本质量。

https://arxiv.org/abs/2306.14878 


图片

图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除