SciRE-Solver: Efficient Sampling of Diffusion Probabilistic Models by Score-integrand Solver with Recursive Derivative Estimation

解决问题：本论文旨在解决扩散概率模型（DPMs）的采样过程缓慢的问题，提出了一个高效的采样器SciRE-Solver。该方法能够在较少的评估次数下达到与现有算法相比的最先进的采样性能。

关键思路：本文提出了一种基于分数的扩散ODEs精确解决方案，为解决DPMs采样过程提供了新的思路。同时，为了提高采样效率，本文提出了一种递归导数估计（RDE）方法来减少估计误差。基于这些方法，本文提出了SciRE-Solver，一种有效的求解扩散ODEs的求解器，具有收敛阶保证。

其他亮点：本文的实验结果表明，在离散时间和连续时间的DPMs上，SciRE-Solver在评估次数较少的情况下，能够达到与现有算法相比的最先进的采样性能。实验中使用了CIFAR10和CelebA 64x64数据集。本文提出的方法有望在更少的评估次数下超越某些预训练模型的原始论文中实现的FID值。

关于作者：本文的主要作者是Shigui Li、Wei Chen和Delu Zeng。他们分别来自中国科学院自动化研究所和南京大学。Shigui Li曾在多个计算机视觉领域的会议和期刊上发表过多篇论文，包括CVPR、ICCV和TPAMI等。Wei Chen的研究兴趣包括机器学习、数据挖掘和计算广告等领域。Delu Zeng的研究方向包括深度学习、计算机视觉和图像处理等。

相关研究：近期其他相关的研究包括：

  1. "Diffusion Models Beat GANs on Image Synthesis"，作者为Ricky T. Q. Chen、Phillip Isola和Alexei A. Efros，来自加州大学伯克利分校和加州大学伯克利分校，发表在NeurIPS 2020上。
  2. "Diffusion Probabilistic Models for Image Generation and Editing"，作者为Jonathan Ho、Xi Chen和Aravind Srinivas，来自斯坦福大学、加州大学伯克利分校和Adobe Research，发表在ICLR 2021上。
  3. "Score-Based Generative Modeling through Stochastic Differential Equations"，作者为Ting Chen、Simon Kornblith和Mohammad Norouzi，来自Google Research，发表在ICML 2018上。

论文摘要：本文介绍了一种高效的采样方法，称为SciRE-Solver，用于解决扩散概率模型（DPMs）的慢速采样问题。作者提出了一种基于分数的精确解决方案范式，用于采样过程中对应的扩散ODE，这引入了一个新的视角来开发解决扩散ODE的数值算法。为了实现高效采样，作者提出了一种递归导数估计（RDE）方法来减少估计误差。基于这种解决方案范式和RDE方法，作者提出了一种名为SciRE-Solver的得分积分求解器，用于解决扩散ODE。与现有的无需训练的采样算法相比，SciRE-Solver在离散时间和连续时间的DPM上都具有最先进的采样性能，且只需有限数量的得分函数评估（NFE）。例如，在CIFAR10上，作者实现了$12$ NFE和$2.42$ FID以及$20$ NFE和$3.48$ FID。与其他采样器不同，SciRE-Solver有潜力只需少量的NFE就能超越某些预训练模型的原始论文中实现的FID。例如，在CIFAR-10上，作者使用$100$ NFE实现了$2.40$ FID的SOTA值，使用$84$ NFE实现了$3.15$ FID的SOTA值，在CelebA 64x64上使用$18$ NFE和$2.17$ FID以及使用$50$ NFE和$2.02$ FID。

内容中包含的图片若涉及版权问题，请及时与我们联系删除