Distillation of Discrete Diffusion through Dimensional Correlations

扩散模型在各种生成建模领域中表现出了出色的性能。尽管它们在样本质量和多样性方面经常优于竞争对手，包括VAE和GAN，但由于它们的迭代性质，它们的采样速度较慢。最近，在连续域中，蒸馏技术和一致性模型正在缓解这个问题，但是离散扩散模型在更快的生成方面存在一些特定的挑战。最值得注意的是，在当前文献中，由于计算限制，不同维度（像素、位置）之间的相关性被忽略，这既包括其建模，也包括其损失函数。在本文中，我们提出了离散扩散中的“混合”模型，能够处理维度相关性，同时保持可扩展性，并提供了一组用于蒸馏现有模型迭代的损失函数。我们的方法基于两个主要的理论见解：首先，如果允许进行多次采样步骤，独立于维度的模型可以很好地逼近数据分布；其次，我们的损失函数使混合模型能够通过学习维度相关性将这些多步传统模型蒸馏成只需几步。我们通过对CIFAR-10数据集进行预训练的连续时间离散扩散模型的蒸馏，实证演示了我们提出的离散扩散方法的实用性。

论文旨在解决离散扩散模型在生成速度上的缺陷，尤其是在处理维度相关性时的挑战。

通过提出一种可处理维度相关性的“混合”模型，并提供一组损失函数来蒸馏现有模型的迭代，从而加快生成速度。

论文提出的方法在实验中得到了验证，通过蒸馏在CIFAR-10数据集上预训练的离散扩散模型，实现了更快的生成速度。值得注意的是，该方法可以处理维度相关性，同时保持可扩展性。

最近的相关研究包括使用蒸馏技术和一致性模型来解决连续域中的生成速度问题，但离散扩散模型在处理维度相关性时仍存在挑战。