Training-Free Distribution Adaptation for Diffusion Models via Maximum Mean Discrepancy Guidance

预训练的扩散模型已逐渐成为无条件和有条件样本生成的强大生成先验，但其输出结果往往与用户特定目标数据的特征存在偏差。这类不匹配在领域自适应任务中尤为突出，因为此时通常仅有少量参考样本可用，且无法对扩散模型进行重新训练。现有的推理阶段引导方法虽可调整采样轨迹，但通常优化的是分类器似然等代理目标，而非直接对齐目标分布。本文提出MMD引导（MMD Guidance），这是一种无需训练的机制，通过引入生成样本与参考数据集之间最大均值差异（Maximum Mean Discrepancy, MMD）的梯度来增强反向扩散过程。MMD能够利用有限数据提供可靠的分布估计，在实践中具有低方差特性，并且可高效地进行微分，因此特别适合用于引导任务。我们的框架还可通过乘积核自然地扩展到条件生成模型中的提示感知自适应。此外，该方法能高效应用于潜在扩散模型（LDMs），因为引导作用施加在LDM的潜在空间中。在合成数据和真实世界基准上的实验表明，MMD引导能够在保持样本保真度的同时实现分布对齐。

预训练的扩散模型在无条件和条件样本生成中表现出强大的生成先验能力，但在面对用户特定目标数据时，生成结果常与其分布特征不一致。这一问题在仅有少量参考样本且无法重新训练模型的域适应场景中尤为突出。现有推理阶段引导方法多优化代理目标（如分类器似然），而非直接对齐目标分布，导致效果受限。

提出MMD Guidance，一种无需训练的引导机制，在反向扩散过程中引入生成样本与参考数据之间最大均值差异（MMD）的梯度，直接优化分布对齐。该方法通过可微分的MMD损失提供低方差、数据高效的方向信号，并自然支持使用乘积核进行提示感知的条件生成调整。此外，可在潜在扩散模型（LDM）的低维潜在空间中应用，提升计算效率。

MMD在小样本下仍能稳定估计分布差异，适合真实场景中的有限参考数据；框架完全无需训练，适用于冻结模型的部署环境；实验涵盖合成数据与真实世界基准（如FFHQ、CIFAR等），验证了分布对齐能力与生成保真度的平衡；方法可嵌入LDM潜在空间，显著降低计算开销；代码已开源，便于复现与扩展；未来可探索与其他能量函数结合、动态核设计以及跨模态适应的应用。

1. Classifier-Free Diffusion Guidance: Exploiting the power of conditional diffusion models without classifiers 2. StyleGAN-NADA: CLIP-guided domain adaptation of image generators 3. DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation 4. Prompt-to-Prompt Image Editing with Cross Attention Control 5. Energy-Based Self-Tuning for Black-Box Adaptive Generation