Bring Metric Functions into Diffusion Models

我们介绍了一种级联扩散模型（Cas-DM），通过有效地将额外的度量函数纳入训练，改进了去噪扩散概率模型（DDPM）。像LPIPS损失这样的度量函数已被证明在从得分匹配中派生的一致性模型中非常有效。然而，对于扩散对应物来说，添加额外的度量函数的方法和效果仍不清楚。一个主要的挑战是DDPM在每个步骤预测的噪声与度量函数在良好工作的期望干净图像之间的不匹配。为了解决这个问题，我们提出了Cas-DM，这是一种网络架构，它级联两个网络模块，以有效地将度量函数应用于扩散模型训练。第一个模块类似于标准DDPM，学习预测添加的噪声，并不受度量函数的影响。第二个级联模块学习预测干净图像，从而促进度量函数的计算。实验结果表明，所提出的扩散模型骨干使得LPIPS损失的有效使用，从而在各种已建立的基准测试中实现了最先进的图像质量（FID，sFID，IS）。

本论文试图解决在使用度量函数优化去噪扩散概率模型时存在的问题，提出了一种级联扩散模型（Cas-DM）来有效地将度量函数加入到模型训练中，从而提高图像质量。

该论文提出的级联扩散模型（Cas-DM）通过级联两个网络模块，将度量函数应用于扩散模型训练中，第一个模块学习预测噪声，第二个级联模块学习预测干净图像，从而实现度量函数的计算。

该论文的实验结果表明，使用级联扩散模型训练可以有效地使用LPIPS损失函数，从而在各种已建立的基准测试中实现了最先进的图像质量（FID，sFID，IS）。

在最近的相关研究中，有一些关于扩散模型和度量函数的研究，如：《Score-Based Generative Modeling through Stochastic Differential Equations》和《Generative Modeling with Conditional Autoencoders and Factored Inference》等。