Beyond Image Prior: Embedding Noise Prior into Conditional Denoising Transformer

现有的基于学习的去噪方法通常通过从大规模数据集中训练模型来推广图像先验，但在实际应用中，噪声分布的变化会导致这些方法的性能下降。本文提出了一种新的去噪视角，强调了噪声先验和图像先验之间的明显区别。这一洞见为我们开发了一种条件优化框架提供了基础，旨在克服传统去噪框架的限制。为此，我们引入了一种本地噪声先验估计（LoNPE）算法，该算法可以直接从单个原始噪声图像中准确地估计噪声先验。这种估计作为相机传感器成像环境的显式先验表示，不同于场景的图像先验。此外，我们设计了一个辅助学习的针对sRGB噪声图像的LoNPE网络，以适用于实际应用。利用估计的噪声先验，我们提出了一种新颖的条件去噪变换器（Condformer），通过将噪声先验融入条件自注意机制中。这种整合使Condformer可以将优化过程分段到多个明确的子空间中，显著增强了模型的泛化能力和灵活性。在合成和真实数据集上进行的广泛实验评估表明，所提出的方法在当前最先进的方法上取得了卓越的性能。源代码可在https://github.com/YuanfeiHuang/Condformer上获得。

论文旨在解决图像降噪中噪声分布变异性的问题，提出了一种新的条件优化框架，通过估计噪声先验来区分噪声先验和图像先验。

论文的关键思路是通过估计噪声先验来区分噪声和图像先验，并将噪声先验整合到条件自注意力机制中，从而将优化过程分割成多个明确的子空间，提高模型的泛化性和灵活性。

论文提出了一种Locally Noise Prior Estimation (LoNPE)算法，可以从单个原始噪声图像中准确地估计噪声先验。此外，论文还设计了一个适用于实际应用的可学习LoNPE网络。通过实验验证，该方法在合成和真实数据集上均取得了优异的性能，并且已经开源代码。

近期的相关研究包括：DnCNN，FFDNet，RIDNet等。