论文链接：https://arxiv.org/abs/2204.13348

代码地址：

https://github.com/MC-E/Deep-Generalized-Unfolding-Networks-for-Image-Restoration

 

导读

深度神经网络(DNN)在图像重建方面取得了巨大的成功。然而，大多数DNN方法采用黑盒设计，缺乏可解释性。虽然一些方法将传统的优化算法与DNN相结合，但它们通常需要已知的退化过程或手工制作的退化假设，这使其难以处理复杂和真实的退化场景。本文提出了一种普适的深度展开网络(DGUNet)用于图像重建。具体来说，在不损失可解释性的情况下，论文提出的方法将梯度估计策略集成到近端梯度下降(PGD)算法的梯度下降过程中。此外，本文在不同的PGD迭代步中设计了尺度的阶段间信息通路，来克服大多数深度展开网络(DUN)的级间信息损失。通过整合提出的自适应梯度下降模块和有信息量的近端映射模块，我们将迭代的PGD算法展开为一个可训练的DNN。在各种图像重建任务上的实验表明，本文提出的方法具有优异的性能、可解释性和通用性。

 

贡献

图像复原的目的是从退化图像y中得到清晰图像x，其退化过程一般可以建模为一个与退化矩阵A相关的函数：

诸多研究表明，求解上式是一个病态的问题，即给定x，y，存在多种A和n能够得到相同的结果。而从贝叶斯最大后验角度出发，基于模型的方法将图像重建定义为如下公式：

其中logP（y|x）代表图像数据的不变项，logP（x）代表图像数据的先验信息。logP（y|x）通常使用L2损失函数作为数据保真项,因此, 上式可以进一步变形为:

其中J（x）代表一个约束项，在研究早期通常由研究人员指定为某种人工设定的自然先验，近年来也可以被用于深度神经网络生成的不同特征信息。

为了结合上述公式的可解释性和深度神经网络的有效性，一些研究尝试将这些模型的概念显式或隐式地结合到深度神经网络的设计中来，但其推理效率仍是较大的局限所在。近年来，deep unfolding network （DUN）一定程度上解决了这一问题，但DUN要求退化矩阵A是已知的。然而，这一要求有时候并不成立，这使其难以处理复杂和真实的退化场景。本文提出了一种普适的深度展开网络(DGUNet)用于图像重建。一方面，DGUNet通过近似梯度下降(PGD)算法设计模型结构，具有良好的可解释性。另一方面，DGUNet使用端到端训练，可以很容易地应用于复杂和真实的应用。

本文的主要贡献可以总结如下：

  • 采用PGD算法的迭代优化步骤来指导模式设计，最终得到一个可训练和可解释的模型(DGUNet)；
  • DGUNet提出了一种CNN的广义DUN实现，通过将梯度估计策略结合到PGD算法中，使PGD能够很容易地应用于复杂和真实的IR任务；
  • 在DUN框架中设计了阶段间的信息融合路径，以空间自适应归一化的方式广播多尺度特征，从而纠正了大多数DUN方法中的内在信息损失；
  • 大量的实验表明，DGUNet可以解决最具代表性的一般图像复原任务，包括12个合成的和真实世界的测试集。

 

方法

PGD算法的迭代优化

基于近端梯度下降算法(PGD), 上式可以被展开为一个迭代的求解过程:

其中红色部分代表梯度下降, 蓝色部分代表近端映射。进而可以将上式分解为:

其中 A 代表退化矩阵, prox 要已知的退化矩阵A, 很难处理退化末知的真实场景。本文基于 PGD 算法, 用深度网络对A其进行展开详细的建模。

 

DGUNet

本文提出的DGUNet结构如上图所示，当退化矩阵A已知时，FGDM模块将退化矩阵A和近端映射方程用深度网络代替, 并将梯度下降的步长p设置为可学习的参数。因此, 梯度下降过程被重定义为:

当A不可知时，FGDM模块使用一种数据驱动的策略来预测模型梯度，即使用两个独立的残差模块对A与A的转置矩阵进行模拟：

通过公式5b，作者认为大部分图像复原问题均可以抽象为一个去噪问题，因此针对性地提出了一个信息映射模块IPMM，它主要包含一个通道注意力模块、Batch正则化层、残差模块以及跨阶段的信息融合路径ISFF。

 

跨阶段的信息融合路径ISFF

ISFF的目的是为了融合不同尺度特征之间的互补关系，其结构如下图所示：

这一结构设计类似于循环神经网络中的LSTM与GRU模块，可以对不同尺度的深度特征、前一模块的中间输出进行如下计算：

为了避免阶段间的信息丢失，作者最终将ISFF与IPMM进行了联合定义：

 

DGUNet的训练过程

本文提出方法的损失函数为常用的L2损失函数, 对每个阶段的输出都进行约束:

 

实验

图像去雨

 

图像去模糊

 

图像去噪

压缩感知

可以看到，本文提出的DGUNet在保持可解释性的基础上，性能在多种图像重建任务上达到目前最优水平。

内容中包含的图片若涉及版权问题，请及时与我们联系删除