Simpler Diffusion (SiD2): 1.5 FID on ImageNet512 with pixel-space diffusion

潜在扩散模型已成为高分辨率图像合成中扩展扩散模型的热门选择。与端到端训练的像素空间模型相比，潜在模型被认为更高效，并且在高分辨率下能生成更高质量的图像。然而，我们在这里对这些观点提出了挑战，表明像素空间模型实际上在质量和效率方面都能与潜在方法相媲美，达到了在ImageNet512上1.5的FID分数，并在ImageNet128和ImageNet256上取得了新的最佳结果。 我们提出了一种简单的配方，用于将端到端像素空间扩散模型扩展到高分辨率。1：使用sigmoid损失（Kingma & Gao, 2023）并采用我们推荐的超参数。2：使用我们简化的内存高效架构，减少跳连接的数量。3：扩展模型以优先处理高分辨率图像，同时减少参数量，而不是使用更多参数但分辨率较低。当结合最近提出的技巧如引导间隔时，我们获得了一系列像素空间扩散模型，我们称之为简单扩散v2（SiD2）。

该论文旨在挑战关于潜变量扩散模型在高分辨率图像合成中的优越性这一普遍观点，验证像素空间模型是否能够在效率和图像质量上与潜变量模型相匹敌。

论文提出了一种简单的方法来扩展端到端像素空间扩散模型至高分辨率，通过使用sigmoid损失函数、简化内存高效的架构以及调整模型以处理高分辨率图像，同时减少参数量。这些方法结合指导间隔等最新技巧，构建了名为Simple Diffusion v2 (SiD2) 的模型家族。

论文展示了像素空间模型可以达到与潜变量模型相当甚至更好的性能，例如在ImageNet512上达到了1.5 FID，并在ImageNet128和ImageNet256上取得了新的SOTA结果。此外，论文提供了详细的实验设置和超参数配置，为后续研究提供了宝贵的参考。论文还开源了代码，便于其他研究者复现和进一步探索。

最近在这个领域中，相关研究包括《High-Resolution Image Synthesis with Latent Diffusion Models》（Rombach et al., 2022），《Improved Techniques for Training Score-Based Generative Models》（Song et al., 2021），以及《Guided Diffusion Model for High-Quality Image Generation》（Dhariwal & Nichol, 2021）。这些研究主要集中在改进潜变量扩散模型和生成模型的训练技巧上。