A Fourier Space Perspective on Diffusion Models

扩散模型是目前在图像、音频、蛋白质和材料等数据模态上最先进的生成模型。这些数据模态具有一个共同特性，即在傅里叶域中，其方差和幅值呈指数衰减。在标准的去噪扩散概率模型（DDPM）的前向过程中，由于加入的是白噪声，这一特性导致高频成分的信噪比（SNR）比低频成分更快、更早地被破坏。因此，在逆过程中，模型会先生成低频信息，再生成高频细节。在这项工作中，我们研究了扩散模型在傅里叶空间中前向过程的归纳偏置。我们从理论上分析并实证展示了 DDPM 中高频成分更快被噪声影响的现象，这会导致逆过程中关于正态分布假设的违反。我们的实验表明，这种现象会降低高频成分的生成质量。随后，我们研究了一种替代性的傅里叶空间前向过程，该过程以相同的速度对所有频率施加干扰，从而消除了生成过程中的典型频率层次结构。我们在高频为主要特征的数据集上展示了显著的性能提升，而在标准图像生成基准测试中，该方法的表现与 DDPM 相当。

该论文试图解决扩散模型在生成高频率成分时质量下降的问题。由于高频率成分在Fourier空间中被噪声更快地破坏，这违反了反向过程中的正态性假设，从而导致生成效果不佳。这是一个值得关注的新问题，特别是在需要高质量高频细节的模态（如音频、蛋白质结构等）中。

论文的关键思路是研究扩散模型前向过程中在Fourier空间中的归纳偏置，并提出一种替代的前向过程，使所有频率以相同速率被破坏，从而消除生成过程中的频率层次结构。相比传统DDPM方法，这种新方法可以更好地保留高频率信息，改善生成质量。

论文通过理论分析和实验证明了传统DDPM方法对高频率成分的劣化影响，并提出了一种改进的前向过程。实验设计涵盖了图像生成和其他模态数据集，展示了在高频主导数据上的显著性能提升。代码已开源（如果适用），为未来研究提供了基础。值得进一步研究的方向包括：1) 将此方法扩展到更多模态；2) 探索更高效的训练策略。

近期相关研究包括：1)《Score-based Generative Modeling through Stochastic Differential Equations》探讨了基于分数的生成模型；2)《Improved Denoising Diffusion Probabilistic Models》优化了DDPM的训练和采样效率；3)《Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains》研究了Fourier特征在网络中的应用。这些工作共同推动了扩散模型在不同领域的应用和发展。