Improving Adversarial Energy-Based Model via Diffusion Process

生成模型已经展现出了强大的生成能力，但高效的似然估计仍未被深入研究。能量基模型（EBMs）定义了一个灵活的能量函数，以有效地参数化未标准化的密度，但是训练难度很大。对抗性EBMs引入了一个生成器，形成一个极小极大的训练游戏，避免了传统EBMs中昂贵的MCMC采样，但是对抗性EBMs和其他强大的生成模型之间仍存在明显差距。受扩散模型的启发，我们将EBMs嵌入到每个去噪步骤中，将长时间的生成过程分成几个较小的步骤。此外，我们采用对称的Jeffrey散度，并引入一个变分后验分布来训练生成器，以解决对抗性EBMs中存在的主要挑战。我们的实验表明，在与现有的对抗性EBMs相比，我们的方法在生成方面有显著的改进，同时也为高效的密度估计提供了一个有用的能量函数。

论文旨在解决能量基模型（EBMs）在高效似然估计方面的挑战，同时提高其生成能力。

论文提出了一种新的方法，将EBMs嵌入到去噪步骤中，将长时间生成的过程分成多个小步骤，同时采用对称的Jeffrey散度和引入变分后验分布来解决对抗性EBMs中存在的主要挑战。

实验结果表明，与现有的对抗性EBMs相比，该方法在生成方面有显著提高，同时为高效密度估计提供了有用的能量函数。

最近的相关研究包括：1. GAN；2. VAE；3. NF；4. EBMs。