东京大学 & 完全脉冲变分自编码器

脉冲神经网络 (SNN) 可以在具有超高速和超低能耗的神经形态设备上运行，因为它们具有二进制和事件驱动的性质。因此，SNN 有望具有各种应用，包括作为在边缘设备上运行以创建高质量图像的生成模型。在这项研究中，我们使用 SNN 构建了一个变分自编码器 (VAE) 以启用图像生成。 VAE 以其在生成模型中的稳定性而闻名；最近，它的质量进步了。在vanilla VAE中，潜在空间表示为正态分布，采样时需要进行浮点计算。但是，这在 SNN 中是不可能的，因为所有特征都必须是二进制时间序列数据。因此，我们使用自回归 SNN 模型构建了潜在空间，并从其输出中随机选择样本对潜在变量进行采样。这允许潜在变量遵循伯努利过程并允许变分学习。因此，我们构建了完全尖峰变分自动编码器，其中所有模块都使用 SNN 构建。据我们所知，我们是第一个仅使用 SNN 层构建 VAE 的公司。我们对多个数据集进行了实验，并确认与传统 ANN 相比，它可以生成质量相同或更好的图像。