Learning Latent Space Hierarchical EBM Diffusion Models

本研究探讨了基于能量的先验模型和多层生成模型的学习问题。多层生成模型包含多层潜变量，组织成自上而下的分层结构，通常假设高斯先验模型。这种先验模型在建模表现力方面可能存在局限性，导致生成器后验和先验模型之间存在差距，即所谓的先验空洞问题。最近的研究探讨了学习基于能量的（EBM）先验模型作为第二阶段互补模型来弥合差距。然而，在多层潜空间上定义的EBM可能是高度多模态的，这使得从这种边缘EBM先验中采样在实践中具有挑战性，导致EBM学习效果不佳。为了解决这个挑战，我们提出利用扩散概率方案来减轻EBM采样的负担，从而促进EBM学习。我们广泛的实验表明，我们通过扩散学习的EBM先验在各种具有挑战性的任务上表现出卓越的性能。

论文研究了能量先验模型和多层生成模型的学习问题。主要解决的问题是多层生成模型中的先验模型表达能力不足，导致生成后验与先验模型之间存在差距，即先验空洞问题。

为了解决先验空洞问题，论文提出了利用扩散概率方案来缓解采样难度，从而促进能量先验模型的学习。

论文的亮点在于提出了一种新的方法来解决先验空洞问题，即利用扩散概率方案来缓解采样难度。实验表明，这种方法在各种具有挑战性的任务上具有优越的性能。

近期的相关研究包括GAN、VAE等生成模型的改进，以及能量模型的应用等。