Easy attention: A simple self-attention mechanism for Transformers

解决问题：论文旨在提出一种名为“easy attention”的新型注意力机制，以提高用于混沌系统时间动态预测的Transformer神经网络的鲁棒性。这是一个新问题，旨在解决在时间序列中捕获长期依赖性的问题。

关键思路：论文中提出的“easy attention”方法直接将注意力得分作为可学习参数，而不需要使用传统的查询、键和softmax。此外，通过对softmax注意力得分进行奇异值分解（SVD），论文发现自注意力将来自查询和键的贡献压缩到注意力得分的跨度空间中。相比于当前领域的研究，这种直接将注意力得分作为可学习参数的方法具有新意。

其他亮点：论文在混沌系统的时间动态重建和预测方面表现出色，比传统的自注意力和LSTM网络更具鲁棒性和简洁性。实验使用了多个混沌系统的数据集，并将结果与其他方法进行了比较。该论文没有提供开源代码，但是可以通过联系作者获得。

相关研究：与此论文相关的其他研究包括：

  • "Self-attention without softmax" by Zhai et al. (2020) from Tsinghua University
  • "Attention is all you need" by Vaswani et al. (2017) from Google Brain and NYU
  • "Transformers for time series forecasting" by Wang et al. (2020) from University of California, San Diego and Tsinghua University

论文摘要：为了提高用于混沌系统时间动态预测的Transformer神经网络的鲁棒性，我们提出了一种称为“easy attention”的新型注意力机制。由于自注意力机制只使用查询和键的内积，因此证明了为了获取捕获时间序列中的长期依赖所需的注意力分数，键、查询和softmax并不是必要的。通过在softmax注意力分数上实现奇异值分解（SVD），我们进一步观察到自我关注在注意力分数的跨度空间中压缩了来自查询和键的贡献。因此，我们提出的“easy-attention”方法直接将注意力分数视为可学习参数。这种方法在重构和预测混沌系统的时间动态时产生了出色的结果，比自我关注或广泛使用的长短期记忆（LSTM）网络具有更强的鲁棒性和较少的复杂性。我们的结果显示了在更复杂的高维动力系统中应用的巨大潜力。

内容中包含的图片若涉及版权问题，请及时与我们联系删除