DEFT: Efficient Finetuning of Conditional Diffusion Models by Learning the Generalised $h$-transform

基于去噪扩散过程的生成建模范式已成为逆问题条件抽样的主要候选方法。在许多实际应用中，我们通常可以访问经过昂贵训练得到的大型无条件扩散模型，我们旨在利用它们来改进条件抽样。最近的方法往往是启发式的，缺乏一个统一的框架，使它们之间的联系变得不清晰。此外，它们往往存在一些问题，例如对超参数非常敏感、训练成本高或需要访问隐藏在封闭API后面的权重。在本文中，我们使用数学上理解清晰的Doob's h-transform统一条件训练和抽样。这个新的视角使我们能够将许多现有方法统一起来。在这个框架下，我们提出了DEFT（Doob's h-transform Efficient FineTuning），一种新的条件生成方法，它只需微调一个非常小的网络，就可以快速学习条件$h$-transform，同时保持较大的无条件网络不变。DEFT比现有的基线方法快得多，同时在各种线性和非线性基准测试中实现了最先进的性能。在图像重建任务中，我们实现了高达1.6倍的加速，在自然图像的感知质量和医学图像的重建性能方面表现最佳。

论文旨在统一条件训练和采样，使用数学上已经很好理解的Doob's h-transform方法，解决大规模无条件扩散模型在条件采样中的应用问题。同时，该论文还试图解决现有方法中存在的超参数敏感、训练昂贵、需要访问封闭API等问题。

使用Doob's h-transform方法来统一条件训练和采样，提出了DEFT方法，该方法只需微调一个非常小的网络来快速学习条件h-transform，同时保持更大的无条件网络不变。该方法比现有基线方法快得多，同时在各种线性和非线性基准测试中实现了最先进的性能。

DEFT方法在图像重建任务中实现了高达1.6倍的加速，同时在自然图像的感知质量和医学图像的重建性能方面取得了最佳结果。论文使用了大量的实验数据集，同时开源了代码。该方法的优点在于简单、快速、有效，值得进一步研究。

最近在这个领域中，还有一些相关的研究，如：Diffusion Models Beat GANs on Image Synthesis, Improved Techniques for Training Score-Based Generative Models, Learning to Simulate Complex Physics with Graph Networks等。