TMM 2022 | 从图像分量优化解读盲图像超分辨率任务

超分辨率（Super-Resolution，SR）作为图像处理领域内的关键技术，因其能够提高图像的分辨率，丰富纹理细节，在诸多领域都有重要的理论意义和应用价值，一直以来受到了学术界和产业界的广泛关注。近年来，随着深度学习理论和各种卷积神经网络的快速发展，基于深度学习的图像超分辨率重建方法成为了研究热点。然而，在实际应用中，图像超分辨率（Single Image Super-Resolution，SISR）技术经常面临着各复杂场景的挑战，如退化方式多样（降采样、噪声、伪影、光线明暗和模糊等）、甚至是未知的退化方式等。面对这些挑战，如何从低质量低分辨率（Low-Resolution，LR）图像中快速、高效、精确地重建出高分辨率（High-Resolution， HR）图像是个亟需解决的问题。传统的基于简单退化方式如双三次（Bicubic）插值、最近邻（Nearest Neighbor）等的方法远远无法满足实际应用的需要。在该任务中，一种方式是假设图像的退化方式已知，设计已知的、复杂的退化过程和退化核，然后将其作为先验以指导超分辨率重建过程。这种方法相较于以前的方法应用范围更广且效果更好。但是，在现实场景中，图像的退化方式往往是不可知的，对应的退化核同样无法获得。因此，当真实的退化核与预先设计的退化核差异较大时，该方法的泛化性依然存在严重挑战。

为了解决上述问题，另一种方法选择根据观测到的LR图像估计可能存在的退化核甚至是退化过程，再基于这些估计进行SISR重建，被称之为盲图像超分辨率（Blind Super-Resolution，BlindSR）。然而，这些方法的性能对退化核估计的准确程度十分敏感。事实上，要精确地估计LR图像的退化核是十分困难的，并且其误差无法避免。不仅如此，基于模糊核的方法仅仅考虑了来自于退化过程（如高斯模糊）的模糊，而忽视了由于下采样操作带来的模糊（如Bicubic插值下采样），这进一步加大了模糊核估计的难度。如图1所示，假设HR图像在经过Bicubic下采样之前被各向异性高斯核（Anisotropic Gaussian Kernel）模糊，图中的灰色条表示通过主成分分析（Principle Component Analysis，PCA）获得的模糊核。可以发现部分方法估计的退化核与实际使用的真实退化核差距较大，从而产生了4倍SR结果具有明显的模糊。即使提供了向部分SISR模型提供了真实的模糊核，其仍然无法恢复出令人满意的图像细节。

考虑到SISR重建任务都包含了低频结构上下文信息的重建以及高频细节信息的重建。相较于简单的双三次插值下采样，BlindSR中的LR图像在退化过程中受到了复杂模糊核带来的影响，从而丢失了大多数的高频信息。上述对模糊核的建模方法虽然可以有效的去除模糊核带来的局部模糊，但并没有对丢失的细节信息进行特定的优化。基于该分析，如果我们能够重建出图像在退化过程中丢失的细节纹理信息，就能够弥合传统SR任务和BlindSR中的域差，重建出具有更高视觉质量的图像。同时，我们认为在图像重建的过程中，对于细节分量的优化能够使SR网络模型关注局部更重要的区域，使其更容易捕捉空间结构相关性，而对于结构上下文的优化同样有助于更好的细节恢复，从而重建出清晰的SR图像。因此，我们提出从图像内在的细节和结构分量出发，探究细节和结构之间的交互与相互促进的性质，以此来指导BlindSR重建。与上述提到的方法相比，我们更关注图像本身的优化而非可能施加的退化核，对应地，在BlindSR任务中，我们的方法过程更加简单，不需要任何退化先验信息或者先验估计即可实现高质量HR图像重建。本文提出的思想共分为两种递进式方法：一是细节-结构交替优化的BlindSR（TMM，Feb., 2022）；二是退化驱动的成分分解与协同优化（TMM，Oct., 2022）

内容中包含的图片若涉及版权问题，请及时与我们联系删除