Traveling Waves Encode the Recent Past and Enhance Sequence Learning

在整个大脑的不同区域和尺度上都观察到了神经活动的旅行波，但它们的精确计算作用仍然存在争议。一种物理启发式假设认为，皮层板可能像波传播系统一样，通过在皮层表面上引起的波来可逆地存储顺序刺激的短期记忆。事实上，许多来自神经科学的实验结果将波活动与记忆任务相关联。然而，由于缺乏能够展示这种波的简单循环神经网络架构，这个想法的计算含义迄今仍然是假设性的。在这项工作中，我们介绍了一个模型来填补这个空白，我们将其称为Wave-RNN（wRNN），并展示了这样的架构确实通过一系列合成记忆任务高效地编码了最近的过去，其中wRNN学习速度更快，达到的误差显著低于无波对照组。我们进一步探讨了这种记忆存储系统对更复杂的序列建模任务（如序列图像分类）的影响，并发现基于波的模型不仅在使用更少的参数的情况下再次优于可比的无波RNN，而且在性能上与更复杂的门控架构（如LSTM和GRU）相当。

论文试图探讨神经活动中的波动现象在记忆和序列建模中的作用，提出了Wave-RNN模型，旨在填补当前缺乏能够展现波动现象的简单递归神经网络架构的空白。

Wave-RNN模型能够通过波动现象有效地存储短期记忆，并在合成记忆任务和序列图像分类等任务中表现出色，且使用参数更少。

论文提出了Wave-RNN模型，能够展现神经活动中的波动现象，并在多个任务中表现出色，使用参数更少。实验使用了多个数据集，如MNIST、CIFAR-10等，并开源了代码。

近期相关研究包括《Neural Wavelet Networks for Function Learning》、《Wavelet Recurrent Neural Networks》等。