Transfer Learning on Transformers for Building Energy Consumption Forecasting -- A Comparative Study

本研究探讨了迁移学习（TL）在Transformer架构上的应用，以提高建筑能耗预测的准确性。Transformer是一种相对较新的深度学习架构，为ChatGPT等突破性技术奠定了基础。尽管过去的研究已经探讨过迁移学习，但这些研究要么只考虑了一种迁移学习策略，要么使用了如循环神经网络或卷积神经网络等较旧的深度学习模型。在本研究中，我们对六种不同的迁移学习策略进行了广泛的实证研究，并分析了它们在不同特征空间下的表现。除了标准的Transformer架构外，我们还实验了专门为时间序列预测设计的Informer和PatchTST。我们使用了来自Building Data Genome Project 2的16个数据集来创建建筑能耗预测模型。实验结果表明，虽然迁移学习通常是有益的，尤其是在目标领域没有数据时，但为了获得最大效益，需要仔细选择具体的迁移学习策略。这一决策在很大程度上取决于特征空间的属性，例如记录的天气特征。我们还发现，PatchTST的表现优于其他两种Transformer变体（标准Transformer和Informer）。我们认为，我们的研究结果将有助于研究人员在使用迁移学习和Transformer架构进行建筑能耗预测时做出明智的决策。

该论文旨在通过应用迁移学习（TL）到Transformer架构上，以提升建筑能耗预测的准确性。这并非一个全新的问题，但该研究特别关注在Transformer模型上的应用，这是一个相对较新的尝试。

关键思路是系统地评估六种不同的迁移学习策略在Transformer及其变体（如Informer和PatchTST）上的表现，并分析这些策略在不同特征空间下的性能。与以往的研究不同，本研究不仅考虑了单一的迁移学习策略，还探索了多种策略在最新深度学习架构中的应用。

该研究使用了16个来自Building Data Genome Project 2的数据集，进行了广泛的实证分析。实验结果显示，迁移学习在目标域无数据时尤为有效，但具体策略的选择需根据特征空间的特性来决定。此外，研究发现PatchTST在所有Transformer变体中表现最佳。该研究为未来的研究者提供了宝贵的参考，帮助他们在使用迁移学习和Transformer架构进行建筑能耗预测时做出更明智的决策。

近年来，许多研究探讨了迁移学习在时间序列预测中的应用，但大多数研究集中在传统的深度学习模型如RNN和CNN上。例如，有研究使用RNN进行电力负荷预测（"Deep Learning for Short-Term Load Forecasting: A Review and Comparative Study", 2020），也有研究使用CNN进行天气预报（"Weather Forecasting Using Convolutional Neural Networks", 2019）。然而，针对Transformer架构的迁移学习研究相对较少，本研究填补了这一空白。