论文地址：https://arxiv.org/pdf/2207.12987.pdf

开源地址：https://github.com/zhjy2016/splut

摘要

查找表(LUT)具有计算量小、硬件无关等优点，在低层次的视觉任务中显示了它的有效性。然而，最近用查找表解决单幅图像超分辨率(SISR)问题的尝试受到小的感受野大小的高度限制。另外，它们的单层查找表框架限制了模型的扩展和泛化能力。本文提出了一种序列并行查找表(SPLUT)框架来缓解上述问题，实现高效的图像超分辨率。一方面，我们级联多个查找表来扩大每个提取特征向量的感受野。另一方面，我们提出了一个并行网络，包括两个级联查找表分支，处理输入低分辨率图像的不同分量。通过这样做，这两个分支相互协作，并补偿了建立查找表时离散化输入像素的精度损失。与以往的基于查找表的方法相比，该框架具有更强的表示能力和更灵活的体系结构。此外，我们不再需要引入冗馀计算的插值方法，因此我们的方法可以获得更快的推理速度。在五个流行的基准数据集上的大量实验结果表明，该方法以更有效的方式获得了更好的SISR性能。

主要贡献

概括地说，这项工作的贡献有三个方面：

  • 据我们所知，我们是第一个提出级联LUTs扩大SISR领域的感受野。
  • 提出了一种新的并行网络来补偿在建立大射频尺寸的LUT时由于离散化而造成的精度损失。
  • 定量和定性的结果表明，该方法能够更准确、更有效地恢复缺失的细节。通过对不同SPLUT模型的比较，验证了所提方法优越的可扩展性。

实验

我们在DIV2K数据集[1]上训练了所提出的串行-并行查找表(SPLUT)模型，并在5个广泛使用的基准上评估了我们的方法的有效性:Set5[3]、Set14[41]、BSD100[22]、Urban100[10]和Manga109[23]。在我们的实验中，我们着重于放大因子×4。我们使用峰值信噪比(PSNR)和结构相似指数(SSIM)[37]作为预测精度的评价指标。为了比较计算效率，我们测量并报告了超分辨率320×180LR图像在手机上的运行时间。

内容中包含的图片若涉及版权问题，请及时与我们联系删除