Diffusion Models Learn Low-Dimensional Distributions via Subspace Clustering

最近的实证研究表明，扩散模型可以有效地学习图像分布并生成新样本。令人惊讶的是，即使只有少量的训练样本，这些模型也可以实现这一点，尽管图像维度很大，从而避免了维度灾难。在这项工作中，我们通过利用关键的经验观察提供了对这种现象的理论洞见：（i）图像数据的低内在维度性，（ii）图像数据的流形结构的联合，以及（iii）训练扩散模型中去噪自编码器的低秩属性。这些观察结果激发我们将图像数据的潜在数据分布假定为低秩高斯混合，将去噪自编码器参数化为根据假定分布的得分函数的低秩模型。在这些设置下，我们严格证明了优化扩散模型的训练损失等价于在训练样本上解决规范子空间聚类问题。基于这个等价性，我们进一步表明，在上述数据和模型假设下，学习潜在分布所需的最小样本数与内在维度线性缩放。这一洞见揭示了为什么扩散模型可以打破维度灾难并展现学习分布的相变。此外，我们在图像数据的子空间和语义表示之间建立了对应关系，以便进行图像编辑。我们通过对模拟分布和图像数据集的实验证实了这些结果。

本文试图解决的问题是探究扩散模型如何在小样本情况下学习图像分布并生成新样本。同时，通过理论分析探讨这种现象的原因。

本文的关键思路是将图像数据的潜在分布假设为低秩高斯混合模型，并将去噪自编码器的参数化为该分布的得分函数的低秩模型。通过这种方式，论文证明了扩散模型的训练损失优化等价于解决训练样本上的典型子空间聚类问题。

本文的亮点包括：1）通过理论分析解释了扩散模型如何在小样本情况下学习图像分布，避免了维数灾难；2）实验证明了子空间和图像语义表示之间的对应关系，便于图像编辑；3）在模拟分布和图像数据集上进行了实验验证。

相关研究包括：1）GAN模型在图像生成上的应用；2）深度学习模型在小样本学习上的研究；3）基于低秩分解的图像处理方法。