Spiking Convolutional Neural Networks for Text Classification

本文介绍了一种“转换+微调”两步法来训练SNN（脉冲神经网络）用于文本分类，并提出了一种简单而有效的方法来将预训练的词嵌入编码为脉冲序列。SNN的神经元被稀疏激活，推理是事件驱动的，因此SNN提供了一条更节能的途径，以更有效率的方式实现深度神经网络（DNN）。然而，由于以脉冲形式表示单词并通过SNN处理可变长度的文本是非常困难的，因此目前很少有研究在语言任务中展示了SNN的有效性。我们通过实验证明，在使用代理梯度微调后，SNN的转换后达到了与DNN相当的结果，并且在英文和中文的多个数据集上消耗的能量要少得多。我们还表明，这种SNN比DNN更具有抵御对抗攻击的鲁棒性。

如何使用SNNs来进行文本分类任务？

论文提出了一种将预训练的词向量编码为脉冲列的方法，并采用“转换+微调”两步法来训练SNNs进行文本分类任务，同时证明了SNNs在文本分类任务上的可行性和优势。

论文使用了“转换+微调”两步法来训练SNNs进行文本分类任务，并将预训练的词向量编码为脉冲列。实验表明，经过微调后的SNNs在多个数据集上的表现不逊于DNNs，并且具有更低的能耗和更强的抗干扰能力。

最近的相关研究包括：《Spiking Neural Networks for Deep Learning: A Survey》、《Spiking Deep Neural Networks: Recent Advances and Future Directions》等。