DAM: Towards A Foundation Model for Time Series Forecasting

这是一个具有挑战性的任务，需要将时间序列预测模型扩展到多个不同的领域和数据集，这些数据集可能具有不同的采集过程（例如样本分辨率）、模式（例如周期性）和预测要求（例如重构与预测）。我们将这个通用任务称为“通用预测”。现有的方法通常假设输入数据是定期采样的，并且预测到预先确定的时间范围，导致无法在训练范围之外进行泛化。我们提出了DAM模型——一种神经模型，它采用随机采样的历史数据，并输出一个可调的基础组合，作为时间的连续函数，用于预测非固定的时间范围。它包括三个关键组成部分：（1）一种灵活的方法，用于使用来自长尾分布的随机采样历史数据，从而在保留对最近历史的关注的同时，实现对潜在时间动态的高效全局视角；（2）一个transformer骨干网络，它在这些主动采样的历史数据上进行训练，以产生基础系数的表示输出；（3）基础系数是时间的连续函数。我们展示了一个单变量的DAM模型，它在25个时间序列数据集上进行了训练，可以在18个数据集上进行多元长期预测，要么优于现有的SoTA模型，要么与其相当，其中包括8个用于零-shot转移的数据集，尽管这些模型是针对每个数据集-时间范围组合进行训练的。这个单一的DAM模型在零-shot转移和非常长期的预测方面表现优异，在插补方面表现良好，通过基础函数组合和注意力可以解释，可以调整不同的推理成本需求，通过设计对缺失和不规则采样的数据具有鲁棒性。

解决通用时间序列预测的问题，即如何让模型适用于不同的数据集和领域，包括不同的采样方式、周期性和预测要求。同时解决了现有方法在处理非固定预测范围和非规则采样数据时的不足。

提出了DAM模型，使用随机采样历史数据，输出可调节的时间连续函数的基函数系数，具有灵活性、可解释性和适用性强的特点。

DAM模型在25个时间序列数据集上进行了训练和测试，在18个数据集上表现优于或接近现有的最佳模型，包括8个零样本转移的数据集。该模型在零样本转移和长期预测方面表现出色，适用于插值，具有基函数组合和注意力机制的可解释性。

与本文相关的研究包括：使用LSTM和卷积神经网络进行时间序列预测的研究，以及使用注意力机制和基函数组合进行可解释性时间序列预测的研究。