Poisson Variational Autoencoder

本文介绍了一种新的变分自编码器（VAE）结构，称为泊松VAE（P-VAE）。传统的VAE依赖于连续潜变量，与生物神经元的离散性质相差甚远。P-VAE将预测编码原理与VAE相结合，将输入编码为离散的脉冲计数。将泊松分布的潜变量与预测编码相结合，引入了模型损失函数中的代谢成本项，表明它与稀疏编码存在关系，我们通过实验证实了这一点。此外，我们分析了学习表示的几何形状，将P-VAE与其他VAE模型进行对比。我们发现，P-VAE在相对较高的维度中编码其输入，有助于下游分类任务中类别的线性可分性，其样本效率比其他方法提高了5倍。本文提供了一个可解释的计算框架，用于研究类似于大脑的感觉处理，为深入理解感知作为推理过程铺平了道路。

本文旨在开发一种新的架构Poisson VAE（P-VAE），结合预测编码原理和VAE，将输入编码为离散的脉冲计数，以更好地模拟生物神经元的离散特性。同时，通过分析学习表示的几何形状，比较P-VAE与其他VAE模型之间的区别，探索感知作为推理过程的更深层次理解。

本文提出了一种新的架构P-VAE，将VAE中的连续潜变量替换为Poisson分布的离散潜变量，同时引入预测编码原理，提高了模型分类任务的效率和准确性。

实验结果表明，P-VAE能够更好地模拟生物神经元的离散特性，从而提高了模型的解释性。此外，与其他VAE模型相比，P-VAE在学习表示的几何形状方面具有独特性，能够更好地支持下游分类任务。

最近的相关研究包括：Higgins等人提出的基于VAE的神经科学模型（2021）和Vafaii等人提出的基于VAE的视觉感知模型（2023）。