Diffusion Tuning: Transferring Diffusion Models via Chain of Forgetting

扩散模型显著推动了生成建模领域的发展。然而，训练扩散模型计算成本高，因此迫切需要改进现有的扩散模型，以适应下游生成任务。目前的微调方法侧重于参数高效的迁移学习，但忽略了扩散模型的基本迁移特性。本文研究了扩散模型的可迁移性，并观察到反向过程中可迁移性的单调遗忘趋势。基于这一观察和新颖的理论见解，我们提出了Diff-Tuning，这是一种令人沮丧的简单转移方法，利用了遗忘趋势链。Diff-Tuning鼓励微调模型在接近生成数据的去噪链末端保留预训练知识，同时丢弃其他噪声。我们进行了全面的实验来评估Diff-Tuning，包括将预训练的扩散变压器模型转移到八个下游生成任务和将稳定扩散适应于带有ControlNet的五个控制条件。Diff-Tuning相对于标准微调提高了26％，并提高了ControlNet的收敛速度24％。值得注意的是，扩散模型的参数高效迁移学习技术也可以从Diff-Tuning中受益。

本文旨在解决fine-tuning困难和计算代价高的问题，提出一种新的迁移学习方法Diff-Tuning，用于将预训练的Diffusion模型适应于下游生成任务。

通过观察Diffusion模型的遗忘趋势，提出Diff-Tuning方法，使得fine-tuning的模型能够保留预训练的知识，加速收敛速度。

通过在8个下游生成任务和5个控制条件下对Diff-Tuning进行综合实验，证明Diff-Tuning方法比标准的fine-tuning方法提高了26%的性能，同时加速了ControlNet的收敛速度24%。该方法也适用于参数高效的迁移学习技术。

与该论文相关的研究包括Diffusion Transformer模型的预训练和fine-tuning，以及控制生成模型的研究。