
PDF链接:https://arxiv.org/pdf/2208.11970.pdf
扩散模型作为生成模型已显示出令人难以置信的能力;实际上,它们为当前文本条件图像生成的最新模型如Imagen和DALL-E2提供了动力。在这项工作中,我们审查,解密,并统一的理解扩散模型跨越两个变分和评分为基础的观点。我们首先推导出变分扩散模型(VDM)作为马尔可夫层次变分自动编码器的特例,其中三个关键假设使得ELBO的易处理计算和可扩展优化成为可能。然后,我们证明优化VDM可归结为学习神经网络以预测以下三个潜在目标之一:来自原始源输入的任意噪声化的原始源输入、来自任意噪声化输入的原始源噪声、或者在任意噪声水平的噪声化输入的得分函数。然后,我们深入探讨了学习得分函数的意义,并通过Tweedie公式将扩散模型的变分观点与基于得分的生成式建模观点明确地联系起来。最后,我们将介绍如何通过指导使用扩散模型来学习条件分布。
内容中包含的图片若涉及版权问题,请及时与我们联系删除


评论
沙发等你来抢