本文首次对现有的扩散生成模型（diffusion model）进行了全面的总结分析，还在Github分类汇总了相关论文。
本综述（Diffusion Models: A Comprehensive Survey of Methods and Applications）来自加州大学 & Google Research 的 Ming-Hsuan Yang、北京大学崔斌实验室以及 CMU、UCLA、蒙特利尔 Mila 研究院等众研究团队，首次对现有的扩散生成模型（diffusion model）进行了全面的总结分析，从 diffusion model 算法细化分类、和其他五大生成模型的关联以及在七大领域中的应用等方面展开，最后提出了 diffusion model 的现有 limitation 和未来的发展方向。
扩散模型（diffusion models）是深度生成模型中新的 SOTA。扩散模型在图片生成任务中超越了原 SOTA：GAN，并且在诸多应用领域都有出色的表现，如计算机视觉，NLP、波形信号处理、多模态建模、分子图建模、时间序列建模、对抗性净化等。此外，扩散模型与其他研究领域有着密切的联系，如稳健学习、表示学习、强化学习。然而，原始的扩散模型也有缺点，它的采样速度慢，通常需要数千个评估步骤才能抽取一个样本；它的最大似然估计无法和基于似然的模型相比；它泛化到各种数据类型的能力较差。如今很多研究已经从实际应用的角度解决上述限制做出了许多努力，或从理论角度对模型能力进行了分析。
然而，现在缺乏对扩散模型从算法到应用的最新进展的系统回顾。为了反映这一快速发展领域的进展，我们对扩散模型进行了首个全面综述。我们设想我们的工作将阐明扩散模型的设计考虑和先进方法，展示其在不同领域的应用，并指出未来的研究方向。此综述的概要如下图所示：
尽管 diffusion model 在各类任务中都有着优秀的表现，它仍还有自己的缺点，并有诸多研究对 diffusion model 进行了改善。为了系统地阐明 diffusion model 的研究进展，我们总结了原始扩散模型的三个主要缺点，采样速度慢，最大化似然差、数据泛化能力弱，并提出将的 diffusion models 改进研究分为对应的三类：采样速度提升、最大似然增强和数据泛化增强。我们首先说明改善的动机，再根据方法的特性将每个改进方向的研究进一步细化分类，从而清楚的展现方法之间的联系与区别。在此我们仅选取部分重要方法为例， 我们的工作中对每类方法都做了详细的介绍，内容如图所示：
在分析完三类扩散模型后，我们将介绍其他的五种生成模型 GAN，VAE，Autoregressive model, Normalizing flow, Energy-based model。考虑到扩散模型的优良性质，研究者们已经根据其特性将 diffusion model 与其他生成模型结合，所以为了进一步展现 diffusion model 的特点和改进工作，我们详细地介绍了 diffusion model 和其他生成模型的结合的工作并阐明了在原始生成模型上的改进之处。Diffusion model 在诸多领域都有着优异的表现，并且考虑到不同领域的应用中 diffusion model 产生了不同的变形，我们系统地介绍了 diffusion model 的应用研究，其中包含如下领域：计算机视觉，NLP、波形信号处理、多模态建模、分子图建模、时间序列建模、对抗性净化。对于每个任务，我们定义了该任务并介绍利用扩散模型处理任务的工作，我们将本项工作的主要贡献总结如下：
-
新的分类方法：我们对扩散模型和其应用提出了一种新的、系统的分类法。具体的我们将模型分为三类：采样速度增强、最大似然估计增强、数据泛化增强。进一步地，我们将扩散模型的应用分为七类：计算机视觉，NLP、波形信号处理、多模态建模、分子图建模、时间序列建模、对抗性净化。
-
全面的回顾：我们首次全面地概述了现代扩散模型及其应用。我们展示了每种扩散模型的主要改进，和原始模型进行了必要的比较，并总结了相应的论文。对于扩散模型的每种类型的应用，我们展示了扩散模型要解决的主要问题，并说明它们如何解决这些问题。
-
未来研究方向：我们对未来研究提出了开放型问题，并对扩散模型在算法和应用方面的未来发展提供了一些建议。
阅读详细解读
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢