DiP: Taming Diffusion Models in Pixel Space

扩散模型在生成质量与计算效率之间面临着根本性的权衡。潜空间扩散模型（Latent Diffusion Models, LDMs）提供了一种高效的解决方案，但存在潜在的信息损失且无法实现端到端训练。相比之下，现有的像素空间模型虽绕开了变分自编码器（VAE），但在高分辨率图像合成任务中计算开销过大，难以实用。为解决这一困境，我们提出了DiP——一种高效的像素空间扩散框架。DiP将生成过程解耦为全局和局部两个阶段：其主干网络采用扩散Transformer（Diffusion Transformer, DiT），作用于较大的图像块以高效构建全局结构；同时，一个协同训练的轻量级“补丁细节增强头”（Patch Detailer Head）利用上下文特征恢复精细的局部细节。这种协同设计在不依赖VAE的情况下，实现了与LDM相当的计算效率。DiP的推理速度比先前方法最快可提升达10倍，模型总参数量仅增加0.3%，并在ImageNet 256×256数据集上取得了1.90的FID分数。

扩散模型在生成质量与计算效率之间存在根本性权衡。现有的潜在扩散模型（LDMs）虽然高效，但依赖于VAE编码器-解码器，可能导致信息损失且非端到端训练；而直接在像素空间建模的方法虽避免了VAE，却因计算开销过大难以用于高分辨率图像生成。该论文试图解决如何在不牺牲生成质量的前提下，实现高效、端到端的高分辨率图像合成问题。这是一个持续受到关注的问题，但追求无VAE且兼具速度与性能的新架构仍具新颖性。

提出DiP——一种高效的像素空间扩散框架，通过将生成过程解耦为全局结构构建和局部细节恢复两个阶段来实现效率与质量的平衡。其核心是采用Diffusion Transformer（DiT）处理大尺寸图像块以快速建立整体结构，并引入一个轻量级的Patch Detailer Head协同训练，利用上下文特征精细化局部细节。该设计无需VAE即可达到与LDM相当的计算效率，实现了端到端训练与高质量生成的统一。相比现有方法，DiP首次在纯像素空间中通过功能解耦实现高效高分辨率合成，思路具有创新性。

DiP在ImageNet 256×256上取得了1.90的FID分数，表现优异；推理速度比先前方法快达10倍，同时仅增加0.3%的总参数量，显示出极高的效率优势。实验设计充分验证了模块有效性与可扩展性，使用了标准ImageNet数据集进行评估。目前未提及是否开源代码，值得后续关注。未来可深入研究该双阶段机制在更高分辨率（如512×512或1024×1024）下的表现，以及Detailer Head的轻量化设计能否迁移到其他扩散模型中。

1. High-Resolution Image Synthesis with Latent Diffusion Models 2. Diffusion Models Beat GANs on Image Synthesis 3. Scalable Diffusion Models with Transformers (DiT) 4. Palette: Image-to-Image Diffusion Models 5. SR3: Imagen Diffusion Models are Scalable Vision Learners