香港中文大学 | KBNet：用于图像恢复的Kernel Basis网络

论文标题：KBNet: Kernel Basis Network for Image Restoration

论文链接：https://arxiv.org/abs/2303.02881

代码链接：https://github.com/zhangyi-3/kbnet.

作者单位：香港中文大学 & 商汤科技

如何聚合空间信息在基于学习的图像恢复中起着至关重要的作用。 大多数现有的基于 CNN 的网络采用静态卷积核对空间信息进行编码，不能自适应地聚合空间信息。 最近基于转换器的架构实现了自适应空间聚合。 但是它们缺乏令人满意的卷积归纳偏差，并且需要大量的计算成本。 在本文中，我们提出了一个Kernel Basis注意（KBA）模块，它引入了可学习的内核基础来为空间信息聚合的代表性图像模式建模。 训练不同的内核基础来模拟不同的局部结构。 在每个空间位置，它们通过预测的逐像素系数线性自适应地融合以获得聚合权重。 基于 KBA 模块，我们进一步设计了一个多轴特征融合 (MFF) 块来编码和融合通道级、空间不变和像素自适应的图像恢复特征。 我们的模型名为内核基础网络 (KBNet)，在图像去噪、去雨和去模糊任务的十多个基准测试中实现了最先进的性能，同时比以前的 SOTA 方法需要更少的计算成本。