Blue noise for diffusion models

大多数现有的扩散模型在训练和采样过程中使用高斯噪声，这可能不能最优地考虑去噪网络重构的频率内容。尽管相关噪声在计算机图形学中有着各种各样的应用，但其提高训练过程的潜力尚未得到充分探索。本文介绍了一种新颖且通用的扩散模型类，考虑了图像内部和跨图像的相关噪声。具体而言，我们提出了一种时变噪声模型，将相关噪声纳入训练过程，并提出了一种快速生成相关噪声掩模的方法。我们的模型建立在确定性扩散模型之上，并利用蓝噪声来帮助提高生成质量，相比仅使用高斯白噪声（随机噪声）更好。此外，我们的框架允许在单个小批量内引入跨图像的相关性，以改善梯度流。我们使用我们的方法对各种数据集进行了定性和定量评估，在FID指标方面，在不同任务上实现了对现有确定性扩散模型的改进。

本文旨在提出一种新的扩散模型，考虑图像内部和图像之间的相关噪声，以优化训练过程。

本文提出了一种基于时间变化的噪声模型，用于将相关噪声纳入训练过程中，并提出了一种快速生成相关噪声掩码的方法。该模型基于确定性扩散模型，利用蓝噪声来提高生成质量，并允许在单个小批量内引入图像之间的相关性以改善梯度流。

本文在多个数据集上进行了定性和定量评估，并在FID指标方面相对于现有的确定性扩散模型取得了改进。实验设计合理，使用了多个数据集，并提供了开源代码。本文提出的相关噪声模型为该领域的研究提供了新思路。

最近相关研究包括《Denoising Diffusion Probabilistic Models》、《Adversarial Training Methods for Semi-Supervised Text Classification》等。