MOMENT: A Family of Open Time-series Foundation Models

我们介绍 MOMENT，这是一系列用于通用时序分析的开源基础模型。由于以下原因，对时序数据进行大型模型的预训练具有挑战性：（1）缺乏一个大而完整的公共时序数据库；（2）不同的时序特征使得多数据集训练变得繁琐；（3）评估这些模型的实验基准，特别是在资源、时间和监督有限的情况下，仍处于初级阶段。为了解决这些挑战，我们编制了一个名为 Time-series Pile 的大型多样化公共时序收集，并系统地解决时序特定的挑战，以解锁大规模多数据集预训练。最后，我们在最近的研究基础上设计了一个基准，以在有限监督设置中评估时序基础模型在不同任务和数据集上的表现。在这个基准测试上，我们的预训练模型表现出了很好的效果，只需要很少的数据和任务特定的微调。最后，我们还提出了一些有趣的大型预训练时序模型的经验观察。我们的代码可以在 anonymous.4open.science/r/BETT-773F/ 匿名获取。

论文旨在解决时间序列分析中的预训练模型训练问题，包括公共数据集缺乏、多样化的时间序列特征和实验评估标准不足等方面。

通过构建一个大规模的时间序列数据集（Time-series Pile）并解决时间序列特有的挑战，实现了大规模多数据集的预训练模型，并设计了一个基准测试来评估这些模型在有限监督下的效果。

论文提供了一个大规模、多样化的时间序列数据集，并通过预训练模型和微调实现了在有限数据和监督下的任务效果。代码已经开源。

最近的相关研究包括《Time Series Transformers》、《Time Series Pre-training with Task-Guided Synthetic Data》等。