Time-Series Forecasting for Out-of-Distribution Generalization Using Invariant Learning

时间序列预测（TSF）在现实世界中有广泛的应用。由于时间序列数据的动态性质，为TSF模型配备足够的越域（OOD）泛化能力是至关重要的，因为历史训练数据和未来测试数据可能具有不同的分布。本文旨在通过不变学习来缓解TSF中固有的OOD问题。我们确定了TSF中不变学习的基本挑战。首先，由于TSF中存在未观察到的核心变量，使得输入可能无法充分确定TSF中的目标变量，从而打破了不变学习的传统假设。其次，时间序列数据集缺乏足够的环境标签，而现有的环境推断方法并不适用于TSF。 为了解决这些挑战，我们提出了FOIL，这是一个模型无关的框架，通过不变学习实现了时间序列预测的越域泛化。FOIL采用一种新颖的代理损失来减轻未观察到的变量的影响。此外，FOIL通过多头网络有效地交替推断环境并保持时间相邻结构，学习跨推断环境的不变表示，从而实现了联合优化，以用于OOD泛化TSF。我们证明了FOIL显著提高了各种TSF模型的性能，最高可达85%。

本文旨在通过不变学习解决时间序列预测中的样本外泛化问题，即历史训练数据和未来测试数据可能存在不同分布的问题。

文章提出了FOIL框架，通过使用新的代理损失来缓解未观察到的变量对时间序列预测的影响，并使用多头网络有效地推断环境，同时保留时间相邻性结构，学习跨推断环境的不变表示，从而实现样本外泛化。

FOIL框架显著提高了各种时间序列预测模型的性能，最高可达85%。实验使用了多个数据集，并提供了开源代码。

在时间序列预测领域，最近的相关研究包括《Time Series Forecasting with Deep Learning: A Survey》、《Deep Learning for Time Series Forecasting: A Systematic Literature Review》等。