论文地址:https://arxiv.org/pdf/2112.05146.pdf
摘要
由于其作为生成模型的强大性能,扩散模型最近在社区中引起了极大的兴趣。此外,它在逆问题中的应用已经证明了最先进的性能。不幸的是,扩散模型有一个严重的缺点——它们本质上采样速度很慢,需要几千步迭代才能从纯高斯噪声生成图像。在这项工作中,我们表明从高斯噪声开始是不必要的。相反,从具有更好初始化的单个正向扩散开始显着减少了反向条件扩散中的采样步骤数。这种现象由随机差分方程的收缩理论正式解释,例如我们的条件扩散策略 - 反向扩散的交替应用,然后是非扩展数据一致性步骤。新的采样策略,称为 Come-Closer-Diffuse-Faster (CCDF),还揭示了如何将现有的用于逆问题的前馈神经网络方法与扩散模型协同结合的新见解。超分辨率、图像修复和压缩感知 MRI 的实验结果表明,我们的方法可以在显着减少采样步骤的情况下实现最先进的重建性能。
主要贡献
具体而言,我们称之为cos-closerdiffuse-faster(CCDF)的方法首先通过正向扩散路径到T0 <t的初始估计值,其中T0表示反向扩散启动的时间。这种正向扩散几乎是免费的,而无需通过神经网络进行任何通过。虽然正向扩散(噪声添加)图像的分布增加了初始化的估计误差,如图2(b)所示,提出的CCDF的关键思想是,反向条件扩散路径的反向条件扩散路径呈指数级降低误差,请级迅速地降低了误差。到随机差方程的收缩特性[22,23]。因此,与启动从t = t处的高斯分布反向扩散的标准方法相比(见图2(a)),可以大大减少使用CCDF恢复干净图像的反向扩散步骤的总数。此外,通过更好的初始化,我们证明可以进一步减少反向采样的数量,如图2(c)所示。这意味着现有的基于神经网络(NN)的逆溶液可以协同结合扩散模型,以通过提供更好的初始估计值来获得准确和快速的重建。
使用各种问题(例如超分辨率(SR),inpainting和MRI重建)进行的广泛实验,我们证明CCDF可以显着加速基于扩散的基于扩散的模型。
实验
我们在三个不同的任务上测试我们的方法:上分辨率,涂料和MRI重建。对于所有方法,我们通过降低T0值来加速扩散过程,评估定性图像质量和定量指标。对于所提出的方法,我们报告以神经网络(NN)初始化X0开头的结果,除非另有说明。
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢