本文是MPRNet与MIRNet的作者在图像复原领域的又一力作，也是Transformer技术在low-level领域的又一个SOTA。针对Transformer在高分辨率图像复原中存在的难点，提出了两种MDTA与GDFN两种改进，极大程度上缓解了计算量与GPU缓存占用问题。所提方案刷新了多个图像复原任务的SOTA性能。

论文链接：

https://arXiv.org/abs/2111.09881

代码：

https://github.com/swz30/Restormer

通过MHSA与FFN进行改进，本文提出一种高效Transformer，它可以捕获长距离像素相关性，同时可适用于大尺寸图像。所提方案Restormer(Restoration Transformer)在多个图像复原任务上取得了SOTA性能，包含图像去雨、图像去运动模糊、图像去散焦模糊以及图像降噪(包含合成与真实噪声)，可参见下图。

本文主要贡献包含以下几点：

  • 提出了一种编解码Transformer用于高分辨率图像上多尺度local-global表达学习，且无需进行局部窗口拆分；
  • 提出一种MDTA(Multi-Dconv head Transposed Attention)模块，它有助于进行局部与非局部相关像素聚合，可以高效的进行高分辨率图像处理；
  • 提出一种GDFN(Gated-Dconv Feed-forward Network)模块，它可以执行可控特征变换，即抑制低信息特征，仅保留有用信息。

内容中包含的图片若涉及版权问题，请及时与我们联系删除