Gradient Guidance for Diffusion Models: An Optimization Perspective

扩散模型在各种应用中已经取得了经验上的成功，并且可以通过指导来适应特定任务的需求。本文引入了一种梯度指导形式，用于将扩散模型调整或微调到用户指定的优化目标。我们研究了一种有指导的基于分数的采样过程的理论方面，将梯度指导的扩散模型与一阶优化联系起来。我们表明，在预先训练的扩散模型的采样过程中添加梯度指导本质上相当于解决一个正则化优化问题，其中正则化项作为先前训练数据确定的先验。扩散模型能够学习数据的潜在子空间，但是明确地将外部目标函数的梯度添加到样本过程中会危及生成样本的结构。为了解决这个问题，我们考虑了一种基于前向预测损失的修改形式的梯度指导，它利用预先训练的分数函数来保留生成样本中的潜在结构。我们进一步考虑了梯度指导扩散的迭代微调版本，在其中可以查询新生成数据点的梯度，并使用新样本更新分数网络。这个过程在期望中模仿了一阶优化迭代，我们证明了当目标函数是凸函数时，收敛速度为O(1/K)。

本文旨在通过引入梯度引导来适应或微调扩散模型以实现用户指定的优化目标。作者试图解决如何在保持生成样本的潜在结构的同时将外部目标函数的梯度添加到样本过程中的问题。

论文提出了一种基于梯度引导的扩散模型微调方法，并将其链接到一阶优化。在预训练的扩散模型的采样过程中添加梯度引导本质上等价于解决一个正则化优化问题，其中正则化项作为预训练数据确定的先验。文章中还提出了一种基于前向预测损失的梯度引导修正方法，以保留生成样本中的潜在结构。

本文的亮点在于提出了一种新的扩散模型微调方法，并证明了该方法的收敛性。此外，文章还提出了基于前向预测损失的梯度引导修正方法，以保留生成样本的潜在结构。作者通过实验验证了该方法的有效性，并提供了开源代码。

最近在这个领域中，还有一些相关的研究，例如：《Score-Based Generative Modeling through Stochastic Differential Equations》、《Implicit Generation and Generalization with Energy-Based Models》等。