A prescriptive theory for brain-like inference

证据下界（ELBO）是训练深度生成模型（如变分自编码器（VAEs））时广泛使用的目标函数。在神经科学文献中，相同的目标函数被称为变分自由能，这暗示了大脑功能和机器学习之间可能存在一个统一的框架。尽管在解释生成模型（包括扩散模型）方面非常有用，但ELBO最大化通常被认为过于宽泛，无法为神经科学或机器学习中的具体架构提供具体的指导。在这项工作中，我们展示了在泊松假设下对一般序列数据最大化ELBO，可以导出一个通过膜电位动力学执行贝叶斯后验推断的脉冲神经网络。由此产生的模型，即迭代泊松变分自编码器（iP-VAE），与基于高斯假设的先前脑启发预测编码模型相比，与生物神经元有更紧密的联系。与摊销和迭代的VAE相比，iP-VAE学习到更稀疏的表示，并且对分布外样本表现出更好的泛化能力。这些发现表明，结合泊松假设优化ELBO，为在神经AI中发展规范理论提供了坚实的基础。

该论文旨在通过最大化证据下界（ELBO）并结合泊松假设，为神经科学和机器学习提供一个更具体的架构指导。具体来说，它试图构建一个与生物神经元更接近的生成模型，并探索其在处理序列数据时的表现。

论文的关键思路是，在泊松假设下最大化ELBO，可以推导出一个迭代的泊松变分自编码器（iP-VAE），该模型通过膜电位动态执行贝叶斯后验推理。这一方法不仅与生物神经元的行为更为一致，而且在学习稀疏表示和泛化到分布外样本方面表现出色。

1. 论文提出了iP-VAE模型，该模型在处理一般序列数据时能够学习更稀疏的表示，并且在泛化能力上优于现有的变分自编码器。 2. 实验设计包括对比iP-VAE与传统的变分自编码器（如amortized VAE和iterative VAE）在多个数据集上的表现。 3. 该模型的生物学合理性更高，为神经科学中的预测编码模型提供了新的视角。 4. 论文提供了开源代码，便于其他研究者复现和进一步研究。

1. "Deep Predictive Coding Networks for Video Prediction and Unsupervised Learning" - 这篇论文探讨了基于高斯假设的预测编码模型在视频预测中的应用。 2. "Neural Dynamics as Sampling: A Model for Stochastic Computation in Recurrent Networks of Spiking Neurons" - 该研究提出了脉冲神经网络中的随机计算模型。 3. "A Spike-Based, Bayesian-Optimal Model for Probabilistic Neural Decoding" - 这篇论文提出了一种基于脉冲的贝叶斯最优模型，用于概率神经解码。 4. "Variational Inference with Normalizing Flows" - 该研究介绍了使用归一化流进行变分推断的方法，与本文的变分自编码器有相似之处。