CondTSF: One-line Plugin of Dataset Condensation for Time Series Forecasting

数据集精简是一种新生的技术，它生成一个小数据集，可以用于训练深度神经网络以降低训练成本。数据集精简的目标是确保用合成数据集训练的模型可以与用完整数据集训练的模型性能相当。然而，现有方法主要集中在分类任务上，这在适应时间序列预测方面存在挑战。这个挑战来自于合成数据评估的差异。在分类任务中，如果使用完整数据集和使用合成数据集训练的模型对于相同的输入产生相同的标签，不考虑输出逻辑分布的变化，那么合成数据就被认为是精炼的。相反，在时间序列预测中，合成数据的精炼效果是通过两个模型预测之间的距离来确定的。只有当预测中的所有数据点都相似时，合成数据才被认为是精炼的。因此，相比于分类任务，时间序列预测具有更严格的评估方法。为了缓解这种差距，我们对时间序列预测的数据集精简优化目标进行了理论分析，并基于我们的分析提出了一个新的一行插件数据集精简方法，称为CondTSF。将CondTSF插入之前的数据集精简方法可以减少使用完整数据集和使用合成数据集训练的模型预测之间的距离，从而提高性能。我们在八个常用的时间序列数据集上进行了广泛的实验。CondTSF方法在所有数据集上一致提高了所有先前数据集精简方法的性能，特别是在低精简比率下。

如何将数据集压缩并用于时间序列预测任务中？如何在评估合成数据时解决分类任务和时间序列预测任务之间的差异？

通过理论分析数据集压缩的优化目标，提出了一种新的数据集压缩方法CondTSF，专门用于时间序列预测任务，并将其插入到之前的数据集压缩方法中，以减少模型预测之间的距离，从而提高性能。

在8个常用的时间序列数据集上进行了大量实验，结果表明CondTSF方法在所有数据集上均优于之前的数据集压缩方法，在压缩比较低的情况下表现尤为突出。本文的方法提供了一种新的思路，可以用于其他任务中的数据集压缩。

该领域的相关研究主要集中在分类任务中的数据集压缩方法，如Knowledge Distillation和Data Distillation。