Diffusion Model Patching via Mixture-of-Prompts

我们提出了扩充扩散模型补丁（DMP），这是一种简单的方法，可以在参数几乎不增加的情况下提高已经达到收敛的预训练扩散模型的性能。DMP将一小组可学习的提示插入模型的输入空间，同时保持原始模型不变。DMP的有效性不仅仅是由于参数的增加，而是源于其动态门控机制，该机制在生成过程的每个步骤（例如反向降噪步骤）中选择和组合一组可学习的提示子集。我们将这种策略称为“提示混合”，它使模型能够利用每个提示的不同专业知识，在每个步骤中使用最小但专业的参数“修补”模型的功能。独特的是，DMP通过在原始训练集上进行进一步训练来增强模型，即使在模型收敛的情况下，通常也不会预期有显着的改进。实验表明，DMP将DiT-L/2在FFHQ 256x256上的已收敛FID显着提高了10.38％，仅增加了1.43％的参数并进行了50000次额外的训练迭代。

本篇论文旨在提出一种简单的方法，即Diffusion Model Patching（DMP），以在预训练扩散模型已经达到收敛的情况下提高其性能，而增加的参数可以忽略不计。DMP通过将一小组可学习的提示插入模型的输入空间，同时保持原始模型不变，来提高模型性能。这种策略使模型能够在每个生成过程的步骤（例如，反向去噪步骤）中选择和组合一组可学习提示的子集，从而汲取每个提示的不同专业知识，实质上是在每个步骤中“修补”模型的功能，而增加的参数很少但是非常专业化。此外，DMP还通过在原始训练数据集上进一步训练模型来提高模型，即使在模型收敛的情况下，也能实现显著的改进。

DMP的关键思路是动态门控机制，即在生成过程的每个步骤中，选择和组合一组可学习提示的子集，从而汲取每个提示的不同专业知识，实质上是在每个步骤中“修补”模型的功能，而增加的参数很少但是非常专业化。此外，DMP还通过在原始训练数据集上进一步训练模型来提高模型，即使在模型收敛的情况下，也能实现显著的改进。

本论文的亮点是提出了一种简单的方法，即DMP，以在预训练扩散模型已经达到收敛的情况下提高其性能，而增加的参数可以忽略不计。DMP的动态门控机制使模型能够汲取每个提示的不同专业知识，从而实现在每个步骤中“修补”模型的功能。实验结果表明，DMP在FFHQ 256x256上将DiT-L/2的收敛FID显着提高了10.38％，仅增加了1.43％的参数和50000个额外的训练迭代次数。

最近在这个领域中，还有一些相关研究。例如，Unsupervised Data Augmentation for Consistency Training，MixMatch: A Holistic Approach to Semi-Supervised Learning，以及Improved Techniques for Training Single-Image GANs。