TFB: Towards Comprehensive and Fair Benchmarking of Time Series Forecasting Methods

时间序列在经济、交通、健康和能源等各个领域中产生，预测未来值具有许多重要应用。因此，许多预测方法被提出。为了确保进展，有必要能够全面可靠地经验性地研究和比较这些方法。为了实现这一点，我们提出了TFB，这是一个自动化的时间序列预测（TSF）方法基准。TFB通过解决与数据集、比较方法和评估流程相关的缺点，推进了最新技术的发展：1）数据领域覆盖不足，2）对传统方法存在刻板印象偏见，3）评估流程不一致和不灵活。为了实现更好的领域覆盖，我们包括来自10个不同领域的数据集：交通、电力、能源、环境、自然、经济、股票市场、银行、健康和网络。我们还提供时间序列特征以确保所选数据集是全面的。为了消除对某些方法的偏见，我们包括各种方法，包括统计学习、机器学习和深度学习方法，并支持各种评估策略和指标，以确保对不同方法进行更全面的评估。为了支持不同方法的集成和公平比较，TFB具有灵活和可扩展的流程，消除了偏见。接下来，我们使用TFB对21种单变量时间序列预测（UTSF）方法在8,068个单变量时间序列和25个数据集上进行了彻底的评估，以及对14种多变量时间序列预测（MTSF）方法进行了评估。基准代码和数据可在https://github.com/decisionintelligence/TFB上获得。

TFB自动化基准测试旨在解决时间序列预测（TSF）方法的数据集、比较方法和评估管道的不足。

TFB通过增加数据域的覆盖范围、包括各种方法以及支持多种评估策略和度量来提高时间序列预测方法的综合评估。

TFB使用来自10个不同领域的数据集进行了21种单变量时间序列预测方法和25个数据集上的14种多变量时间序列预测方法的全面评估。其代码和数据集可以在GitHub上获得。

最近的相关研究包括使用深度学习方法进行时间序列预测的研究，如“DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks”和“GluonTS: Probabilistic Time Series Models in Python with Gluon”。