Training a Hopfield Variational Autoencoder with Equilibrium Propagation

本文提出了平衡传播算法作为反向传播算法的一种节能替代方案，但尽管其在理论上有保证，但在人工智能领域中的应用仍然局限于判别式模型。与此同时，尽管生成式人工智能具有高计算需求，但却在不断发展。本文展示了平衡传播算法在生成式建模中训练变分自编码器（VAE）的应用。利用 Hopfield 网络的对称性质，我们提出使用一个单一模型作为编码器和解码器，这可以有效地减半 VAE 实现所需的芯片大小，为更高效的模拟硬件配置铺平道路。

论文试图在生成模型中应用平衡传播算法，以解决在模拟模拟器等场景下，反向传播算法的计算量过大的问题。同时，该论文也探讨了使用单一模型作为编码器和解码器的可能性，以减少VAE实现所需的芯片大小。

论文的关键思路是将平衡传播算法应用于变分自编码器（VAE）的训练中，并利用霍普菲尔德网络的对称性，提出使用单一模型作为编码器和解码器。这种方法可以有效地减少VAE实现所需的芯片大小。

论文的实验使用了MNIST和Fashion-MNIST数据集，并将平衡传播算法应用于VAE的训练中。结果表明，在相同的训练时间内，平衡传播算法的性能优于标准的反向传播算法。此外，论文还提出了使用单一模型作为编码器和解码器的可能性，并进行了相关实验。论文开源了代码，为后续的研究提供了便利。

近年来，在生成模型的研究领域中，变分自编码器（VAE）已经成为了一个热门的研究方向。与本文相关的研究包括：1）使用平衡传播算法训练VAE的研究；2）使用Hopfield网络进行生成模型的研究。其中，一些相关研究的论文标题包括：“Equilibrium Propagation for Generative Models”和“Hopfield Networks is All You Need”。