Diffusion Model Patching via Mixture-of-Prompts

我们提出了扩展预训练扩散模型性能的简单方法——扩散模型修补（DMP）。该方法可以在参数几乎不变的情况下，向模型的输入空间插入一组小的可学习提示，并保持原模型不变。DMP的有效性不仅仅是由于增加了参数，而是源于其动态门控机制，该机制在生成过程的每个步骤（例如反向去噪步骤）选择和组合一组可学习提示的子集。我们称之为“提示混合”，这种策略使模型能够利用每个提示的独特专业知识，基本上在每个步骤上用最小而专业的参数“修补”模型的功能。独特的是，DMP通过在原始数据集上进行进一步训练，即使在模型收敛的情况下，也可以显著提高模型的性能。实验表明，DMP将DiT-L/2在FFHQ 256x256上的收敛FID提高了10.38％，仅增加了1.43％的参数和50000个额外的训练迭代次数。

本论文旨在提出一种简单的方法，通过在已经收敛的扩散模型中插入一组小的可学习提示，从而提高其性能。该方法的关键是动态门控机制，即在生成过程的每一步中选择和组合一组可学习提示，从而“修补”模型的功能。

论文提出的方法是DMP（Diffusion Model Patching），其采用“提示混合”的策略，使模型能够利用每个提示的不同专业知识，从而在每一步中“修补”模型的功能。

论文的实验表明，DMP可以在仅增加1.43%的参数和50000个额外的训练迭代次数的情况下，显著提高DiT-L/2在FFHQ 256x256上的收敛FID达10.38%。此外，DMP的优越性不仅仅是由于参数的增加，而是源于其动态门控机制。此外，DMP还可以在原始数据集上进一步训练模型，即使在模型收敛的情况下，也可以获得显著的改进。

与本论文相关的研究包括：1）GAN模型的改进，如StyleGAN和BigGAN；2）扩散模型的研究，如DDIM和DiT；3）提示工程的研究，如CLIP和DALL-E。