AAAI 2021最佳论文Informer解读

AAAI 2021最佳论文奖共有三篇，其中一篇由来自北京航空航天大学的周号益等人获得，论文提出了Transformer的改进 Informer，本文将对其做一个简单的解读。

• 论文名称：Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
• 论文作者：Haoyi Zhou， Shanghang Zhang， Jieqi Peng， Shuai Zhang， Jianxin Li， Hui Xiong， Wancai Zhang
• 论文链接：https://arxiv.org/abs/2012.07436
• 代码链接：https://github.com/zhouhaoyi/Informer2020

在很多实际应用问题中，我们需要对长序列时间序列进行预测，例如用电使用规划。长序列时间序列预测（LSTF）要求模型具有很高的预测能力，即能够有效地捕捉输出和输入之间精确的长程相关性耦合。最近的研究表明，Transformer具有提高预测能力的潜力。

然而，Transformer存在一些严重的问题，如:

• 二次时间复杂度、高内存使用率以及encoder-decoder体系结构的固有限制。

为了解决这些问题，本文设计了一个有效的基于变换器的LSTF模型Informer，它具有三个显著的特点：

• ProbSparse Self-Attention，在时间复杂度和内存使用率上达到了，在序列的依赖对齐上具有相当的性能。
• self-attention 提取通过将级联层输入减半来突出控制注意，并有效地处理超长的输入序列。
• 产生式decoder虽然概念上简单，但在一个正向操作中预测长时间序列，而不是一步一步地进行，这大大提高了长序列预测的推理速度。

在四个大规模数据集上的大量实验表明，Informer的性能明显优于现有的方法，为LSTF问题提供了一种新的解决方案。

感兴趣的可以戳原文继续阅读。

此前，在智源社区承办的AAAI 2021论文北京预讲会上，周号益同学也对自己的论文进行了汇报预讲，我们也保存了相应的线上展示Poster，有需要的同学可以下载。

【查看Poster】12. Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting. 【PPT下载】 周号益 北京航空航天大学：Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

内容中包含的图片若涉及版权问题，请及时与我们联系删除