论文标题：MICN: Multi-scale Local and Global Context Modeling for Long-term Series Forecasting

作者：Huiqiang Wang, Jian Peng, Feihu Huang, Jince Wang, Junhui Chen, Yifei Xiao

论文链接：paper

本文是一篇长时间序列预测的文章，但是它是一个基于时域卷积模块的模型，而不是基于 Transformer 的模型。本文的动机有两点：先提取时间序列的局部特征，然后再提取所有局部特征之间的关联性，进而得到全局特征，从 Local 和 Global 的角度建模；在建模全局特征时，不采用复杂度高的 attention，而是采用新提出来的 Isometric Convolution 模块。

MICN模型总览

先是将输入序列送到多尺度混合分解模块中进行序列分解，得到 Seasonal 项和 Trend-Cyclical 项，分别对两者独立进行预测，最后将预测结果加起来。对于 Trend-Cyclical 项，直接采用线性回归的方式，即 Trend-Cyclical Prediction Block 就是一个线性层，因此下面不再介绍；对于 Seasonal 项，采用提出的 MIC 层进行预测。

1.1 多尺度混合分解

首先是如何将原始输入序列进行分解得到 Trend-Cyclical 项和 Seasonal 项。作者也是采用了和 AutoFormer 比较相似的，用平均池化得到 Trend-Cyclical 项，然后原始序列减去 Trend-Cyclical 项就得到了 Seasonal 项。考虑到平均池化的 kernel 大小控制着分解的不同模式，因此作者综合多个 kernel 的平均池化结果，将这些结果再取一个平均，得到 Trend-Cyclical 项：

其实这个方式几乎和 FEDformer 的混合专家分解块（MOEDecomp）是一模一样的，只不过 MOEDecomp 是对多个 kernel 的平均池化结果进行加权平均，而本文是直接平均。

1.2 Seasonal Prediction Block

季节预测模块首先对输入进行 Embedding，其次使用 个堆叠的 MIC 层预测未来。每个 MIC 层中，有多个代表不同尺度的 Branch，如上图中浅蓝色部分所示。每个 branch 实际上就是一个 Local-Global 模块，在下一节中将具体介绍。对于每一个 MIC 层，输入首先通过多个 branch 中的 Local-Global 模块，然后不同 branch 的结果会合并起来，相当于融合多尺度信息，最后馈送到 FFN 和 Add&Norm，即得到该 MIC 层的输出。

1.3 Multi-scale Isometric Convolution(MIC) Layer

对于每一个 MIC 层，本节详细介绍其中的 Local-Global 模块。Local-Global 模块由聚合局部特征的 Local 模块和建模所有局部特征之间的关系的 Global 模块串联而成。
 
对于 Local 模块，首先使用 kernel 大小为i的平均池化进行滤波，然后使用 kernel 大小为i，stride 大小也为i 的 1D 时域卷积来进行降采样（这相当于将序列长度缩小了i 倍）。作者认为，这样相当于把每i个相邻的时间点特征聚合成了一个局部特征。
对于 Global 模块，它的输入实际上就是降采样后的序列，也就是局部特征的序列。于是，作者提出了 Isometric Convolution 来建模这些局部特征的全局关系。之后，利用 1D 转置卷积进行上采样，将序列长度扩大了 倍，也就是再恢复到原始的长度。

实验结果

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除