论文地址：https://arxiv.org/pdf/2111.14358.pdf

开源代码：https://github.com/zhangyi-3/IDR

摘要

缺乏大规模嘈杂清洁的图像对限制了监督的denoising方法在实际应用中的部署。虽然现有的无监督方法能够在没有地面清洁图像的情况下学习图像Denosing，但它们要么在不切实际的设置（例如，配对的嘈杂图像）下表现出差的性能或作品。在本文中，我们提出了一种实用的无监督图像denoisising方法，以实现最先进的denoising绩效。我们的方法仅需要单个嘈杂的图像和一个噪声模型，在实用的原始图像denoising中很容易访问。它在迭代中执行两个步骤：（1）构建一个带有噪声模型随机噪声的噪声噪声数据集； （2）训练模型在噪声噪声数据集上，并使用训练有素的模型来完善嘈杂的图像，以获取下一轮中使用的目标。我们通过快速算法进一步近似我们的完整迭代方法，以进行更有效的培训，同时保持其最初的高性能。关于现实世界，合成和相关噪声的实验表明，我们提出的无监督的denoising方法比现有的无监督方法和具有监督方法的竞争性能具有出色的性能。此外，我们认为现有的Denoising数据集的质量低，并且仅包含少数场景。为了评估现实世界应用程序中的原始图像deno的性能，我们构建了一个高质量的原始图像数据集Sensenoise-500，其中包含500个真实场景。该数据集可以用作更好地评估原始图像denoising的强大基准。

主要贡献

我们的贡献总结如下：

  • 提出了一种自我监督的图像剥夺方案，迭代数据改进（IDR）。它在更实用的环境下起作用，仅需要单个嘈杂的图像和噪声模型。
  • 我们还提出了我们完整方法IDR的快速近似值，该方法的训练时间与训练普通的DeNoising模型相同，同时保持与我们的全面模型相似的性能。
  • 我们收集了一个高质量的原始图像Denoising数据集，用于培训DeNoing模型并在现实情况下测试其性能。它包含500个不同的场景，图像进行了良好的对齐，并且在曝光量> 60年代的情况下创建了干净的图像。
  • 我们的方法在广泛的噪声类型和噪声水平上优于现有的无监督方法。在某些情况下，它甚至通过完全监督的方法显示出可比的性能。

实验

训练细节。在所有实验中，我们使用快速IDR进行比较。网络架构和培训设置与N2N相同[19]。具体来说，我们使用浅的U-NET体系结构，没有批处理标准化层作为骨干。所有型号均经过从头开始训练，尺寸为40k迭代。我们使用ADAM优化器和L1损耗函数。初始学习率固定为3×10-4，然后在迭代25K和40K时两次两次。其输入和输出通道的设置不同，以适应不同的DeNoising任务（例如，灰色图像Denoising具有1个输入通道）。

合成实验的数据集。对于合成噪声，我们从Imagenet验证数据集中随机提取256×256的斑块，以进行训练。对于测试数据集，我们选择其中三个进行评估：颜色图像的柯达（24张图像）和BSDS300（300张图像），以及用于灰度图像的BSD68（68张图像）。在先前的工作[19]之后，我们对四种不同的噪声类型进行测试：（1）在连续噪声水平上进行训练的高斯噪声σ∈[0，50]，并在σ= 25和50上进行测试，（2）二项式和冲动通过p∈[0，0.95]进行训练，并在p = 0.5上进行测试，（3）与σ= 1相关的噪声。

真实世界实验的数据集。 对于真实世界的原始图像去噪，我们在 SID 数据集 (DSLR) [11] 和提议的 SenseNoise-500 数据集（智能手机）上进行训练和测试。 这两个数据集涵盖了不同的相机传感器和弱光条件。 SID 数据集的训练和测试集与 SID [11] 相同。 对于 SenseNoise-500 数据集，我们随机分割 400 张图像用于训练，另外 100 张图像用于测试。 补丁大小已提高到 512 × 512，以更好地处理低光照条件。 至于噪声模型，我们使用最近的 ELD 噪声模型 [32] 为 SID 数据集和我们的 SenseNoise-500 数据集重新校准噪声曲线。

内容中包含的图片若涉及版权问题，请及时与我们联系删除