超分辨率是一个不适定问题(ill-posed problem),它允许对给定的低分辨率图像做出多种预测。这一基础事实很大程度上被很多当前最优的深度学习方法所忽略,这些方法将重建和对抗损失结合起来,训练确定性映射(deterministic mapping)。

近日,来自苏黎世联邦理工学院计算机视觉实验室的研究者提出了一种新的超分辨率模型 SRFlow。该模型是一种基于归一化流的超分辨率方法,具备比 GAN 更强的脑补能力,能够基于低分辨率输入学习输出的条件分布。

论文地址:https://arxiv.org/pdf/2006.14200.pdf 项目地址:https://github.com/andreas128/SRFlow?

研究者使用单个损失函数,即负对数似然(negative log-likelihood)对模型进行训练。SRFlow 直接解释了超分辨率问题的不适定性,并学习预测不同逼真度的高分辨率图像。此外,研究者利用 SRFlow 学到的强大图像后验来设计灵活的图像处理技术,能够通过传输其他图像的内容来增强超分辨率图像。

该研究展示了基于人脸图像以及其他超分辨率图像实验,结果表明 SRFlow 在 PSNR 和感知质量度量上都优于当前最优的 GAN 方法,同时 SRFlow 允许探索超分辨率解空间,以实现生成图像的多样性。

下图展示了基于 GAN 的 ProgFSR 与基于归一化流的 SRFlow 的对比结果:

研究者将超分辨率公式化为:给定低分辨率(LR)输入图像,学习高分辨率(HR)图像的条件概率分布问题。该方法旨在通过捕获基于自然图像流形的所有可能超分辨率(SR)图像,来明确地解决超分辨率问题的不适定性。

内容中包含的图片若涉及版权问题,请及时与我们联系删除