Learning Latent Space Hierarchical EBM Diffusion Models

本研究探讨了能量先验模型和多层生成模型的学习问题。多层生成模型包含多个层次的潜在变量，以自上而下的分层结构组织，通常假定高斯先验模型。这种先验模型在建模表现力方面可能存在局限性，导致生成器后验和先验模型之间存在差距，即所谓的先验空洞问题。最近的研究探索了学习基于能量的（EBM）先验模型作为第二阶段的补充模型，以弥合差距。然而，在多层潜在空间上定义的EBM可能是高度多模态的，这使得从这样的边缘EBM先验中采样在实践中具有挑战性，导致学习效果不佳。为了解决这一挑战，我们提出利用扩散概率方案来减轻EBM采样的负担，从而促进EBM学习。我们的广泛实验表明，我们通过扩散学习得到的EBM先验在各种具有挑战性的任务中表现出优异的性能。

论文旨在解决多层生成模型中的先验洞问题，即由于高斯先验模型的表达能力有限，导致生成后验与先验模型之间存在差距的问题。同时，论文也探索了如何学习基于能量的先验模型以弥补这一差距。

论文提出使用扩散概率方案来减轻能量先验模型采样的负担，从而促进先验模型的学习。

论文在多个具有挑战性的任务上展示了扩散学习的能量先验模型的卓越性能。论文还探索了如何使用先验模型来提高生成模型的采样质量，并使用了多个数据集进行了实验验证。

相关工作包括使用不同的先验模型来提高生成模型的性能，例如变分自编码器和自回归模型等。