【论文标题】Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and (gradient) stable architecture for learning long time dependencies 【作者团队】T. Konstantin Rusch, Siddhartha Mishra 【发表时间】ICLR 2021 【论文链接】https://openreview.net/pdf?id=F3s69XzWOia 【推荐理由】本文基于生物神经元的耦合震荡电路提出一种新的RNN，通过二阶常微分方程系统的时间离散化来处理复杂的顺序数据。 生物神经元的电路，例如大脑功能部分的电路，可以被建模为耦合振荡的网络。这些系统能够在保持状态变量梯度有界的情况下表达丰富的输出集，受此启发，我们提出了一种新的递归神经网络结构。我们提出的RNN是基于一个二阶常微分方程系统的时间离散化，建模受控非线性振动器的网络。我们证明了隐态梯度的精确边界，从而缓解了该RNN的爆炸和消失梯度问题。实验表明，在各种基准上，所提出的RNN在性能上与目前的技术水平相当，这表明了该体系结构为处理复杂的顺序数据提供稳定和准确的RNN的潜力。

内容中包含的图片若涉及版权问题，请及时与我们联系删除