TFB: Towards Comprehensive and Fair Benchmarking of Time Series Forecasting Methods

时间序列在经济、交通、健康和能源等各个领域中被生成，对未来数值的预测有着许多重要的应用。因此，许多预测方法被提出。为了确保进展，有必要能够以全面和可靠的方式对这些方法进行经验研究和比较。为了实现这一点，我们提出了TFB，一种自动化的时间序列预测方法基准。TFB通过解决数据集、比较方法和评估管道方面的缺点，推进了最新技术的发展：1）数据领域覆盖不足，2）对传统方法的成见，3）管道不一致和不灵活。为了实现更好的领域覆盖，我们包括了来自10个不同领域的数据集：交通、电力、能源、环境、自然、经济、股票市场、银行、健康和网络。我们还提供了时间序列特征，以确保所选的数据集是全面的。为了消除对某些方法的偏见，我们包括了各种方法，包括统计学习、机器学习和深度学习方法，并支持各种评估策略和指标，以确保对不同方法进行更全面的评估。为了支持将不同方法集成到基准中并实现公平比较，TFB具有灵活和可扩展的管道，消除了偏见。接下来，我们使用TFB对21种单变量时间序列预测（UTSF）方法在8,068个单变量时间序列上进行了彻底评估，并在25个数据集上对14种多变量时间序列预测（MTSF）方法进行了评估。基准代码和数据可在https://github.com/decisionintelligence/TFB上获得。

本论文旨在解决时间序列预测方法比较中数据集、比较方法和评估流程不足的问题。通过提出自动化的时间序列预测方法基准测试（TFB），来确保对时间序列预测方法进行全面可靠的实证研究和比较。

TFB包括了来自10个不同领域的数据集，提供时间序列特征描述以确保数据集的全面性。同时，TFB包含了多种统计学习、机器学习和深度学习方法，并支持多种评估策略和指标，以确保对不同方法进行全面评估。为了消除偏见，TFB还具有灵活和可扩展的流程。

论文在8,068个单变量时间序列和25个多变量时间序列数据集上，对21种单变量时间序列预测方法和14种多变量时间序列预测方法进行了全面评估。同时，TFB的代码和数据集已经开源，可以在https://github.com/decisionintelligence/TFB上获取。

最近相关研究包括：1. DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks; 2. Neural Prophet: Forecasting at Scale; 3. Time Series Transformer; 4. Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting。