Your Diffusion Model is Secretly a Noise Classifier and Benefits from Contrastive Training

2024年07月12日
  • 简介
    扩散模型学习去噪数据,训练好的去噪器用于从数据分布中生成新样本。在本文中,我们重新审视了扩散采样过程,并确定了样本质量下降的根本原因:在训练分布之外的区域,去噪器的估计不准确,而采样过程不可避免地在这些区域进行评估。这可能对所有采样方法都会产生问题,特别是当我们转向并行采样时,需要同时初始化和更新整个动态样本轨迹,从而导致许多OOD评估。为解决这个问题,我们引入了一种新的自监督训练目标,区分添加到样本中的噪声级别,从而提高OOD去噪性能。这种方法基于我们的观察:扩散模型隐含地定义了一个对不同噪声量的分布进行区分的对数似然比,而这个表达式取决于训练分布之外的去噪器性能。我们通过多种实验表明,所提出的对比扩散训练方法对于顺序和并行设置都是有效的,并且显著提高了并行采样器的性能和速度。
  • 图表
  • 解决问题
    本文旨在解决扩散模型在远离训练分布的区域中性能下降的问题,该问题会影响到所有采样方法,特别是并行采样。论文提出了一种新的自监督训练目标,以区分不同噪声水平的样本,并提高了远离训练分布的去噪性能。
  • 关键思路
    本文提出了一种新的自监督训练目标,以改善扩散模型在远离训练分布的区域中的性能,该方法基于扩散模型隐式定义的对数似然比,可以区分具有不同噪声水平的分布。
  • 其它亮点
    论文通过实验验证了所提出的对比扩散训练方法在顺序和并行采样中的有效性,并显著提高了并行采样的性能和速度。论文还开源了代码和使用的数据集。
  • 相关研究
    最近相关研究包括《Flow Contrastive Estimation of Energy-Based Models》和《Training Energy-Based Models with Consistency Constraints》等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论