论文地址：https://arxiv.org/pdf/2203.11799.pdf

开源代码：https://github.com/wooseoklee4/AP-BSN

摘要

盲点网络（BSN）及其变体在自我监督的denoisising方面取得了重大进步。然而，由于不太实用的假设（如像素独立噪声），它们仍然属于合成嘈杂的输入。因此，使用自我监督的BSN处理空间相关的现实世界噪声是一项挑战。最近，已经提出了PIXEL SHUFFLE下采样（PD）来消除现实世界噪声的空间相关性。但是，直接集成PD和BSN并不是很微不足道的，这阻止了现实世界图像上完全自我监督的DeNoisis模型。我们提出了一个不对称的PD（AP）来解决此问题，该问题引入了训练和推理的不同PD步幅。我们系统地证明，提出的AP可以解决由特定PD步步因素引起的固有权衡，并使BSN适用于实际情况。为此，我们开发了AP-BSN，这是一种用于现实世界SRGB图像的最先进的自我监管的denoising方法。我们进一步提出了随机替换精炼，这显着改善了我们的AP-BSN的性能，而无需任何其他参数。广泛的研究表明，我们的方法优于其他自我监督，甚至是不成对的denoising方法，而无需使用任何其他知识，例如噪声水平，就基本的未知噪声而言。

主要贡献

我们总结了我们的贡献如下：

  • 为了以盲目的方式处理空间相关的现实世界噪声，我们提出了一种新颖的自我监督 AP-BSN。 我们的框架结合 BSN 使用不对称 PD 步幅因子进行训练和推理。
  • 我们提出了随机替换改进（\( R^3 \)），这是一种新型的后处理方法，可以进一步改善我们的APBSN而无需任何其他参数。
  • 我们的AP-BSN是第一个涵盖现实世界中sRGB噪声输入的自我监督的BSN，并且优于其他自我监督甚至几种未配对的解决方案。

实验

我们使用Pytorch 1.9.0 [34]进行实施。默认情况下，我们为拟议的\( R^3 \)采用\( AP_{5/2} \)并将P和T集合到0.16和8。对于BSN，我们修改了Wu等人的架构。提高效率。使用ADAM [22]优化器对AP-BSN进行了训练，初始学习率从\( 10^{-4} \)开始。我们的补充材料中描述了更多细节。

内容中包含的图片若涉及版权问题，请及时与我们联系删除