作者：Yihan Lin, Yifan Hu, Shijie Ma,等

简介：本文研究被誉为“第三代人工神经网络”的脉冲神经网络（SNNs）的训练算法与预训练技术。SNNs是一类典型的类脑模型，具有神经元动力学丰富、编码方案多样、功耗低等独特特点。如何获得高精度的模型一直是 SNN 领域面临的主要挑战。目前，有两种主流方法，即通过将训练有素的人工神经网络 (ANN) 转换为其 SNN 对应物或直接训练 SNN 来获得转换后的 SNN。然而，转换后的 SNN 的推理时间太长，而 SNN 训练通常非常昂贵且效率低下。在这项工作中，通过在预训练的帮助下结合两种不同训练方法的概念，提出了一种新的 SNN 训练范式技术和基于 BP 的深度 SNN 训练机制。作者相信，所提出的范式是训练 SNN 的更有效管道。管道包括用于静态数据传输任务的 pipeS 和用于动态数据传输任务的 pipeD。SOTA 结果是在大规模事件驱动数据集 ES-ImageNet 中获得的。对于训练加速，作者使用 ImageNet-1K 上 1/10 的训练时间和 ES-ImageNet 上 2/5 的训练时间，实现了与类似 LIF-SNN 相同（或更高）的最佳准确度，并为新的数据集 ES-UCF101。这些实验结果揭示了 ANN 和 SNN 之间参数函数的相似性，并展示了该 SNN 训练管道的各种潜在应用。

论文下载：https://arxiv.org/pdf/2203.01158.pdf

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除