The Role of Temporal Hierarchy in Spiking Neural Networks

脉冲神经网络（SNN）通过利用空间和时间参数，具有丰富的时空信号处理潜力。最近的研究表明，突触和神经元的时间常数和延迟等时间动态具有计算优势，有助于减少网络所需的总参数数量，并提高SNN在解决时间任务时的准确性。例如，通过梯度下降优化这些时间参数，可以为不同的问题提供一种时间架构。正如机器学习中所示，为了降低优化成本，可以应用架构偏置，这种情况下是在时间域中应用。神经科学研究发现，时间参数中的这些归纳偏置强调了皮层不同层次的时间结构和输入表示。受此启发，我们建议在SNN的隐藏层中强制实施时间表示的层次结构，强调这种归纳偏置可以提高它们的性能。我们证明了时间层次结构对前馈SNN的时间任务（多时间尺度异或和关键词检测）的时间常数具有积极影响，分类准确度提高了4.1%。此外，我们还展示了这种架构偏置，即时间常数的层次结构，在通过梯度下降初始化为均匀值时自然出现。我们进一步将这个提议应用于时间卷积SNN中，通过引入时间卷积核大小和扩张的分层偏置，在流行的基于时间脉冲的数据集中获得了竞争性的结果。

论文旨在探讨在SNNs中引入时间层次结构的概念，以提高SNNs在处理时间任务时的性能。

通过在SNNs中引入时间层次结构的概念，优化时间参数，从而减少网络中所需的参数数量，提高SNNs在处理时间任务时的准确性。

论文通过在feed-forward SNNs和temporal convolutional SNNs中引入时间层次结构的概念，优化时间参数，实现了在Multi-Time-Scale XOR和Keyword Spotting等数据集上的优异表现。此外，论文还表明，这种时间层次结构的概念在梯度下降优化时间参数时自然地出现。

相关研究包括使用SNNs进行时间任务处理的研究，以及在神经科学领域中关于时间层次结构的研究。