Adaptive Multi-modal Fusion of Spatially Variant Kernel Refinement with Diffusion Model for Blind Image Super-Resolution

预训练扩散模型用于图像生成，封装了与复杂纹理有关的大量先验知识。在图像超分辨率的背景下利用这种先验知识的潜力是一个引人注目的途径。然而，目前的扩散方法忽略了退化信息对扩散过程的约束。此外，这些方法没有考虑估计的模糊核固有的空间变异性，这源于开放环境场景中的运动抖动和失焦元素等因素。这种疏忽导致图像超分辨率效果与基本实际有明显偏差。为了解决这些问题，我们引入了一个名为自适应多模态融合的空间变异核细化扩散模型的盲图像超分辨率（SSR）框架。在SSR框架中，我们提出了一个空间变异核细化（SVKR）模块。SVKR估计一个深度感知核，考虑深度信息并且是空间变异的。此外，SVKR增强了从LR图像获得的深度信息的准确性，允许深度图和模糊核估计之间的相互增强。最后，我们引入了自适应多模态融合（AMF）模块，以对齐三种模态的信息：低分辨率图像、深度图和模糊核。这种对齐可以限制扩散模型生成更真实的SR结果。定量和定性实验证实了我们方法的优越性，而消融实验证实了我们提出的模块的有效性。

提出一种自适应多模态融合的超分辨率方法，解决当前基于扩散模型的超分辨率方法忽略降噪信息和模糊核的空间变异性的问题。

引入空间变异核细化和自适应多模态融合模块，利用深度信息和模糊核信息对超分辨率模型进行约束，提高图像超分辨率的真实感和准确性。

该方法在定量和定性实验中表现出优越性，提出的模块也经过消融实验验证了有效性。使用了公开数据集DIV2K和KITTI，代码未开源。

与该方法相关的研究包括：《Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without Explicit Motion Compensation》、《Deep Back-Projection Networks for Super-Resolution》等。