Structure-Guided Adversarial Training of Diffusion Models

扩散模型在各种生成应用中展示了卓越的功效。虽然现有模型侧重于最小化加权的去噪分数匹配损失来进行数据分布建模，但它们的训练主要强调实例级别的优化，忽视了每个小批量中有价值的结构信息，这表明样本之间存在成对关系。为了解决这个限制，我们介绍了一种结构引导的扩散模型对抗训练（SADM）。在这种开创性的方法中，我们强制模型学习每个训练批次中样本之间的流形结构。为了确保模型捕捉数据分布中真实的流形结构，我们倡导扩散生成器对抗一个新的结构鉴别器进行极小极大博弈，区分真实的流形结构和生成的流形结构。SADM显著改进了现有的扩散变压器（DiT），在12个数据集上在图像生成和跨域微调任务中优于现有方法，在ImageNet上的类条件图像生成分辨率为256x256和512x512时，建立了新的FID最优值，分别为1.58和2.11。

本论文旨在解决现有扩散模型在数据分布建模中忽视样本之间结构信息的问题，提出结构引导的对抗性训练方法（SADM）。

论文通过对抗训练扩散生成器和新颖的结构鉴别器来促使模型学习每个训练批次中样本之间的流形结构，从而提高模型性能。

论文在12个数据集上进行了实验，取得了新的ImageNet分类条件图像生成的FID最佳结果（256x256为1.58，512x512为2.11）。此外，论文提出的方法也在跨域微调任务中表现出色。论文开源了代码。

相关研究包括扩散模型和GAN等生成模型的研究。