PatchScaler: An Efficient Patch-Independent Diffusion Model for Super-Resolution

扩散模型以其出色的内容生成能力显著提高了超分辨率图像的质量。然而，巨大的计算成本限制了这些方法的应用。最近的研究努力探索合理的推理加速方法，以减少采样步骤的数量，但每个步骤在整个图像上执行，计算成本仍然很高。本文介绍了PatchScaler，一种基于补丁独立的扩散单图像超分辨率（SR）方法，旨在提高推理过程的效率。该方法的提出是基于观察到并非图像中的所有图像补丁都需要相同的采样步骤来重建高分辨率图像。基于这一观察，我们开发了Patch-adaptive Group Sampling（PGS），将特征补丁分成不同的组，根据补丁级别的重建难度动态分配适当的采样配置，以更好地加速推理速度。此外，为了在每个采样步骤中提高去噪能力，我们开发了一种纹理提示，通过从补丁独立的参考纹理存储器中检索高质量的纹理先验来指导扩散模型的估计。实验证明，我们的PatchScaler在定量和定性评估中均取得了良好的性能，并具有快速的推理速度。我们的代码和模型可在\url{https://github.com/yongliuy/PatchScaler}上获得。

本文旨在提高扩散模型超分辨率图像重建的效率，解决由于计算成本过高而限制应用的问题。

本文提出了一种基于Patch的自适应分组采样方法，即PatchScaler，用于单幅图像超分辨率重建。该方法可以根据图像中不同的特征块的重建难度动态分配适当的采样配置，从而提高推理速度。

本文的亮点包括：使用Patch-adaptive Group Sampling（PGS）方法进行自适应分组采样；使用纹理提示来指导扩散模型的估计；在定量和定性评估中取得了良好的性能；提供了代码和模型。

近期在这个领域的相关研究包括：《Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data》、《Deep Residual Learning for Image Super-Resolution》等。