Blue noise for diffusion models

现有的大多数扩散模型在训练和所有时间步骤的采样中使用高斯噪声，这可能不能最优地考虑去噪网络重建的频率内容。尽管相关噪声在计算机图形学中具有各种应用，但其改进训练过程的潜力尚未得到充分探索。在本文中，我们介绍了一种新颖且通用的扩散模型类，考虑图像内部和图像之间的相关噪声。更具体地说，我们提出了一种时变噪声模型，将相关噪声纳入训练过程，以及一种快速生成相关噪声掩码的方法。我们的模型建立在确定性扩散模型之上，并利用蓝噪声来帮助提高生成质量，与仅使用高斯白噪声相比。此外，我们的框架允许在单个小批量内引入跨图像的相关性，以改善梯度流。我们使用我们的方法对各种数据集进行了定性和定量评估，在FID指标方面，在不同任务上实现了对现有确定性扩散模型的改进。

本论文旨在解决现有扩散模型中使用高斯噪声训练和采样时可能无法最优地考虑去噪网络重构的频率内容的问题，并提出了一种考虑图像内外相关噪声的新型扩散模型。

论文提出了一种时变噪声模型来将相关噪声纳入训练过程，并提出了一种快速生成相关噪声掩码的方法，利用确定性扩散模型和蓝噪声来提高生成质量，同时允许在单个小批量中引入跨图像的相关性以改善梯度流。

论文在多个数据集上进行了定性和定量评估，通过FID指标在不同任务上实现了比现有确定性扩散模型更好的改进。值得关注的是，论文提出了一种新的考虑相关噪声的扩散模型，这在计算机图形学中的应用具有广泛的潜力。此外，论文提出的方法可以在单个小批量中引入跨图像的相关性，以改善梯度流。

最近的相关研究包括《On the Variance of the Adaptive Learning Rate and Beyond》、《Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image Synthesis》等。