NeurIPS 2022 | PDAE：利用预训练扩散模型进行表征学习

扩散模型（特指 DDPMs）使用一个马尔可夫链将数据分布逐步摧毁转化为标准高斯分布，并通过神经网络拟合其反向过程，得到一个从标准高斯分布到数据分布的马尔可夫生成链。扩散模型因为其稳定的训练过程和高质量的生成样本，得到了学术界和工业界的广泛关注。

作为一种隐变量生成模型（Latent Variable Generative Models），扩散模型天然包含可作为数据表征的隐变量，然而这些隐变量只是数据在原空间中的加噪结果，数量繁多，且缺乏数据的高级语义信息。

鉴于此，Diff-AE（https://github.com/phizaz/diffae）采用自编码器的范式，先使用编码器对数据进行编码，再将编码结果作为条件输入到扩散模型（作为解码器）中进行数据的重构，得到具有高级语义信息的数据表征，并将其成功应用于多个下游任务。

考虑到训练扩散模型会花费较长的时间，且现有大量预训练好的扩散模型，我们提出 Pre-trained DPMs AutoEncoder（PDAE），一种将预训练扩散模型改造适配为解码器并进行自编码器表征学习的方法。相比于 Diff-AE 的从零开始训练，PDAE 可以节约大约一半的表征学习训练时间，并且具有更好的性能表现、更高的灵活性和更广的应用场景。

论文链接：https://arxiv.org/abs/2212.12990

代码链接：https://github.com/ckczzj/PDAE

内容中包含的图片若涉及版权问题，请及时与我们联系删除