ROSE: Register Assisted General Time Series Forecasting with Decomposed Frequency Learning

随着来自各个领域的时间序列数据收集不断增加，对于预先训练于大量时间序列数据集上，以支持各种下游预测任务的通用时间序列预测模型的需求也越来越强烈。实现通用时间序列预测面临两个挑战：如何从多领域时间序列数据中获取统一的表示，以及如何从不同领域的时间序列数据中捕获领域特定的特征，以进行下游任务的自适应转移。为了解决这些挑战，我们提出了一种具有分解频率学习的注册辅助通用时间序列预测模型（ROSE），这是一种新型的用于时间序列预测的预先训练模型。ROSE采用分解频率学习进行预训练任务，通过基于频率的遮蔽和重构来分解时间序列中的耦合语义和周期信息，以获取跨领域的统一表示。我们还为ROSE配备了时间序列注册表，它学习生成注册表码本，以捕获预训练期间的领域特定表示，并通过在下游任务中选择相关的注册标记来增强领域自适应转移。在大规模时间序列数据上进行预训练后，ROSE在8个真实世界基准测试中实现了最先进的预测性能。值得注意的是，即使在少样本情况下，它也表现出与使用完整数据训练的现有方法相比具有竞争力或更优的性能。

ROSE试图解决的问题是如何在多个领域的时间序列数据中获得统一的表示，并且如何在下游任务中进行领域自适应转移。这是一个新问题。

ROSE采用分解频率学习进行预训练任务，通过基于频率的掩码和重构来分解时间序列中的语义和周期信息，从而获得跨领域的统一表示。此外，ROSE还配备了时间序列寄存器，用于学习生成注册码本以捕获领域特定的表示，并通过在下游任务中选择相关的寄存器令牌来增强领域自适应转移。

ROSE在大规模时间序列数据上进行预训练后，在8个真实世界基准测试中实现了最先进的预测性能。即使在少样本情况下，它也展示了与使用完整数据训练的现有方法相比具有竞争力或更优的性能。ROSE的实验设计充分且使用的数据集丰富，论文提供了开源代码。

最近的相关研究包括：1. TSTransformer：一种用于时间序列预测的自我监督Transformer模型；2. FFORMA：一种基于集成的时间序列预测方法；3. MIMO-TCN：一种用于多输入多输出时间序列预测的卷积神经网络。