Improving the Stability of Diffusion Models for Content Consistent Super-Resolution

预先训练的潜在扩散模型的生成先验已经展示了提升图像超分辨率（SR）结果的巨大潜力。不幸的是，现有的基于扩散先验的SR方法遇到了一个共同的问题，即它们倾向于为相同的低分辨率图像生成相当不同的输出，而使用不同的噪声样本。这种随机性对于文本到图像生成任务是有用的，但对于SR任务来说是有问题的，因为期望保留图像内容。为了提高基于扩散先验的SR的稳定性，我们建议使用扩散模型来改善图像结构，同时使用生成对抗训练来增强图像的细节。具体来说，我们提出了一种非均匀时间步长学习策略来训练紧凑的扩散网络，该网络具有高效性和稳定性，可以重现图像的主要结构，并通过对抗训练来微调预训练的变分自编码器（VAE）的解码器以进行细节增强。广泛的实验表明，我们提出的方法，即内容一致的超分辨率（CCSR），可以显著减少基于扩散先验的SR的随机性，提高SR输出的内容一致性，并加速图像生成过程。代码和模型可以在{https://github.com/csslc/CCSR}上找到。

提高扩散先验超分辨率图像生成的稳定性和一致性

使用扩散模型来提炼图像结构，使用生成对抗训练来增强图像细节，并提出了非均匀时间步长学习策略来训练紧凑的扩散网络和改进的VAE解码器

论文提出的CCSR方法可以显著减少扩散先验超分辨率图像生成的随机性，提高超分辨率图像的一致性，加速图像生成过程。已开源代码和模型。

相关研究包括：1. 'Image Super-Resolution Using Very Deep Residual Channel Attention Networks'；2. 'Deep Back-Projection Networks for Super-Resolution'；3. 'Learning a Deep Convolutional Network for Image Super-Resolution'等