Minutes to Seconds: Speeded-up DDPM-based Image Inpainting with Coarse-to-Fine Sampling

本文提出了一种高效的基于DDPM的图像修复方法，包括三种加速策略。首先，我们利用预训练的轻量级扩散模型（LWDM）来减少参数数量。其次，我们引入了DDIM的跳跃式采样方案，用于去噪过程。最后，我们提出了粗到精的采样（CFS），通过在粗略阶段降低图像分辨率和在细化阶段减少去噪时间步长来加速推理。我们在人脸和通用图像修复任务上进行了广泛的实验，我们的方法在大约60倍的加速比下实现了竞争性能。该方法利用预先训练的DDPM作为先验，并通过条件反扩散过程（即去噪过程）生成修复结果，能够为任何修复形式生成高质量的图像。

本论文旨在提出一种高效的基于DDPM的图像修复方法，解决DDPM方法时间消耗过大的问题。

本论文提出了三种加速策略，包括使用预训练的轻量级扩散模型（LWDM）减少参数数量、引入DDIM的跳跃式采样方案来加速去噪过程以及提出的Coarse-to-Fine采样（CFS）方法，通过在粗略阶段减少图像分辨率和在细化阶段减少去噪时间步长来加速推理。

论文在面部和通用图像修复任务上进行了广泛实验，并取得了与当前最佳方法相当的性能，同时加速近60倍。此外，论文还提供了实验细节、数据集和开源代码，为进一步研究提供了有价值的参考。

与本论文相关的研究包括：1. RePaint方法，使用DDPM作为先验进行图像修复；2. DDIM方法，在去噪过程中引入了跳跃式采样方案；3. 基于GAN的图像修复方法，如DeepFillv2和GMI。