论文地址：https://arxiv.org/pdf/2203.13009.pdf

开源代码：https://github.com/Reyhanehne/CVF-SID_PyTorch

摘要

最近，通过大规模数据集的强烈监督，对图像denosing取得了重大进展。但是，在每种特定情况下，获得良好的嘈杂清洁训练对，实际上是昂贵的。因此，在野外嘈杂的输入上应用常规监督的Denoising网络并不直接。尽管几项研究在没有强有力的监督的情况下挑战了这个问题，但它们依赖于不太实际的假设，不能直接应用于实际情况。为了应对上述挑战，我们提出了一种基于循环多元函数（CVF）模块的新颖而强大的自我监督的DeNoising方法，称为CVF-SID，并提供了一个自我监督的图像解开（SID）框架。 CVF模块可以输出输入的多个分解变量，并以循环方式将输出的组合作为输入。我们的CVF-SID可以通过利用各种自我监管的损失条款来解散干净的图像和噪声图。与仅考虑信号无关的噪声模型的几种方法不同，我们还处理用于现实世界应用的信号依赖性噪声组件。此外，我们不依赖于对潜在噪声分布的任何先前假设，从而使CVF-SID更适合于现实的噪声。对现实世界数据集的广泛实验表明，CVFSID达到了最新的自我监督图像DeNoising绩效，并且与其他现有方法相媲美。

主要贡献

为了减轻上述局限性，我们为现实世界中的SRGB图像提供了一种自我监督的denoising方法。为此，我们提出了一种新型的循环多变量函数（CVF），该功能将其输入分解为几个子组件，并将其输出的组合重新恢复为输入。我们利用CVF来设计我们的自我监督图像拆卸模型（CVF-SID），用于SRGB图像Denoising。在各种自我监督的训练目标下，我们的CVF-SID可以学会从给定的嘈杂的SRGB输入中解散无噪声图像，信号依赖性和无关的噪声。此外，我们提出了一种自我监督的数据增强策略，以有效地增加训练样本的数量。我们的主要贡献可以总结如下：

  • 我们介绍了CVF-SID，这是一种基于我们定义的环状多变量函数（CVF）的新型自我监督方法。 CVF-SID将给定的现实世界嘈杂输入到清洁图像，信号依赖性和信号无关的噪声。
  • 对于完全自我监督的CVF-SID，我们提出了各种培训目标和增强策略。
  • 实验结果表明，我们的CVF-SID在现实世界SRGB图像上的几种不/自我监督的方法中实现了卓越的降解性能，如图1所示，与其他方法相当。

实验

在训练过程中，我们构建了一个大小为 64 的 mini-batch，其中包含 40×40 的随机训练图像裁剪。 应用随机翻转和旋转增强来增加有效训练样本的数量。 学习率设置为 \( 10^{-4} \)，其中 ADAM [17] 优化器用于更新可学习参数。 对于我们所有的实验，我们在方程式中固定 γ = 1。 1. 在方程式中应用回归损失\( L^{reg} \)。 在图 11 中，我们为输入图像中的每个像素密集地提取 6×6 块以计算近似方差。 在等式。 在图 13 中，我们设置 \( \lambda _{aug} =0.1 \)来计算总损失 \( L^{total} \)。 我们采用峰值信噪比（PSNR）和结构相似度（SSIM）作为定量比较的评价指标。 所有实验均使用 PyTorch 1.7.1 和 Quadro RTX 8000 GPU 完成。 我们注意到，对于给定的 256 × 256 输入图像，只有干净的图像生成器，推理时间平均约为 10 毫秒。

内容中包含的图片若涉及版权问题，请及时与我们联系删除