Sundial: A Family of Highly Capable Time Series Foundation Models

我们介绍了Sundial，这是一组原生、灵活且可扩展的时间序列基础模型。为了预测下一个时间片的分布，我们提出了一种基于流匹配的TimeFlow损失函数，这有助于在时间序列上对Transformer进行原生预训练，而无需离散化标记。在任意长度的时间序列条件下，我们的模型在预训练过程中不需要指定任何先验分布，并且可以生成多个可能的预测结果，从而在表示学习中实现了超越参数密度使用的灵活性。 朝着时间序列基础模型的方向，我们利用了对Transformer的最小但关键的改进，并整理了包含1万亿个时间点的TimeBench数据集，其中大部分是真实世界的数据集和合成数据。通过使用TimeFlow损失函数缓解模式崩溃问题，我们在TimeBench上预训练了一系列Sundial模型，这些模型展示了前所未有的模型容量和零样本预测中的泛化性能。除了表现出良好的扩展行为外，Sundial在点预测和概率预测基准测试中均达到了新的最先进水平。我们相信，Sundial开创性的生成范式将促进各种预测场景的应用。

该论文试图解决时间序列预测中的几个关键问题，包括如何在不进行离散化的情况下预训练Transformer模型，以及如何提高模型的灵活性和泛化能力以应对多样的预测场景。这并不是一个全新的问题，但在处理时间序列数据时，提出了一种新的方法来克服现有技术的局限性。

论文的关键思路是引入了Sundial模型，它基于TimeFlow Loss进行流匹配，从而允许Transformer直接在时间序列上进行预训练而无需离散化。这种做法不仅提高了模型的灵活性，还避免了模式崩溃的问题。此外，通过使用大规模的时间序列数据集TimeBench，Sundial展示了前所未有的模型容量和泛化性能。

论文的亮点包括：1) 提出了TimeFlow Loss，使得模型可以在连续的时间序列上进行预训练；2) 构建了一个包含1万亿个时间点的大规模数据集TimeBench；3) 在零样本预测任务中表现优异，并在多个基准测试中达到了新的最先进水平；4) 开源代码和数据集为后续研究提供了便利。未来可以进一步探索Sundial在更多实际应用场景中的表现。

最近在这个领域中，相关的研究还包括：1)《Transformers for Time Series Forecasting: A Survey》综述了Transformers在时间序列预测中的应用；2)《Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting》提出了用于可解释多步预测的Temporal Fusion Transformer；3)《BeTR: Bidirectional Encoder-Decoder Temporal Relation Network for Time Series Forecasting》设计了双向编码器-解码器网络来捕捉时间序列中的复杂关系。