Not All Noises Are Created Equally:Diffusion Noise Selection and Optimization

高质量数据的生成方法已经成为学术界和工业界中主流的生成方法。这些方法可以从随机采样的高斯噪声中生成高质量的数据。但是，随机采样的高斯噪声是否对扩散模型同样有效呢？虽然许多研究试图理解和改进扩散模型，但之前的研究忽略了选择或优化采样噪声的可能性，以提高扩散模型的性能。本文主要做出了三方面的贡献。首先，我们报告了并非所有噪声对于扩散模型的生成质量都是相等的。我们是第一个假设并经验证出扩散模型的生成质量显著依赖于噪声反演稳定性的人。这自然地为我们提供了一种根据反演稳定性选择噪声的方法。其次，我们进一步提出了一种新的噪声优化方法，可以积极地增强任意给定噪声的反演稳定性。我们的方法是第一个在噪声空间工作的方法，可以在不微调扩散模型的情况下普遍改善生成的结果。第三，我们的广泛实验表明，所提出的噪声选择和噪声优化方法都可以显著提高代表性的扩散模型，如SDXL和SDXL-turbo，从人类偏好和其他客观评估指标方面。例如，在DrawBench上，噪声选择和噪声优化的人类偏好获胜率可以分别达到57%和72.5%，超过基线。

本论文旨在探讨随机采样高斯噪声对扩散模型生成数据的影响，并提出优化和选择噪声的方法。

本文首次提出噪声反演稳定性对扩散模型生成质量的影响，并提出通过优化噪声空间来改善生成结果的方法。

本文通过实验验证了所提出的噪声选择和优化方法能够显著提高扩散模型的生成结果，包括人类偏好和客观评价指标。

最近相关研究包括：《Diffusion Models Beat GANs on Image Synthesis》、《Generative Models: An Overview》等。