On-the-fly Data Augmentation for Forecasting with Deep Learning

深度学习方法越来越多地用于解决预测任务。这些方法成功应用的关键因素之一是具有足够大的训练样本量，然而这并不总是可用的。在这种情况下，通常会应用合成数据生成技术来增加数据集。数据增强通常在模型拟合之前应用。然而，这些方法创建了单个增强数据集，可能限制了它们的有效性。本文介绍了OnDAT（On-the-fly Data Augmentation for Time series），通过在训练和验证期间应用数据增强来解决这个问题。与传统方法预先创建单个静态增强数据集不同，OnDAT在训练过程中动态生成新的增强数据集。通过在每次迭代中生成新的增强数据集，模型暴露于不断变化的增强数据变化中。我们假设这个过程能够更好地探索数据空间，从而减少了过度拟合的可能性并提高了预测性能。我们使用最先进的深度学习预测方法和8个基准数据集进行了验证，其中包含75797个时间序列。实验表明，与在训练之前应用数据增强的策略以及不涉及数据增强的策略相比，OnDAT可以带来更好的预测性能。该方法和实验结果已公开发布。

OnDAT试图解决的问题是在深度学习时间序列预测任务中，数据集的训练样本数量不足的问题。论文提出了一种在训练和验证过程中进行数据增强的方法，以增加模型的泛化能力和提高预测性能。

论文提出的关键思路是采用On-the-fly数据增强方法，即在每次迭代中生成新的增强数据集，使模型暴露于不断变化的增强数据变化中，从而更好地探索数据空间，减少过拟合的可能性，并提高预测性能。

论文使用了8个基准数据集，共计75797个时间序列，验证了OnDAT方法的有效性，并与传统的数据增强方法以及不使用数据增强的方法进行了比较。实验结果表明，OnDAT方法可以显著提高预测性能。论文还开源了实验代码，供其他研究人员使用。

在时间序列预测领域，有很多相关研究。例如，近年来，人们开始采用深度学习方法进行时间序列预测，如基于循环神经网络的方法、基于卷积神经网络的方法等。此外，数据增强在深度学习领域中也被广泛应用，如图像数据增强、文本数据增强等。