UniCL: A Universal Contrastive Learning Framework for Large Time Series Models

时间序列分析在各种关键应用中发挥着关键作用，包括金融和医疗保健等，其中涉及到各种任务，如预测和分类。为了处理时间序列数据的固有复杂性，如高维度和噪声，传统的监督学习方法首先需要为每个任务的时间序列数据注释大量标签，这在实际应用中非常昂贵和不切实际。相比之下，预训练的基础模型通过利用未标记的数据捕捉一般时间序列模式，为特定任务进行微调，提供了一种有前途的替代方法。然而，现有的预训练这些模型的方法通常由于使用预定义的刚性增强操作和特定领域的数据训练而遭受高偏差和低普适性的问题。为了克服这些限制，本文介绍了UniCL，这是一个通用的、可扩展的对比学习框架，旨在为跨领域数据集预训练时间序列基础模型。具体而言，我们提出了一个统一的、可训练的时间序列增强操作，通过利用频谱信息生成保留模式、多样化和低偏差的时间序列数据。此外，我们还介绍了一种可扩展的增强算法，能够处理具有不同长度的数据集，促进跨领域预训练。对两个基准数据集在11个领域的广泛实验验证了UniCL的有效性，证明了它在各个领域的时间序列分析中具有高通用性。

论文试图通过提出UniCL框架解决时间序列数据预训练中的高偏差和低泛化性等问题，从而降低标注成本，提高预测和分类的准确性。

UniCL框架提出了一种统一且可训练的时间序列数据增强操作，利用谱信息生成保留模式、多样化和低偏差的时间序列数据，并引入了一种可扩展的增强算法，以处理长度不同的数据集，从而实现跨领域预训练。

UniCL框架在两个基准数据集上进行了广泛的实验，跨越了十一个领域，证明了其在各个领域中进行时间序列分析的高通用性和有效性。该论文的代码已经开源。

在这个领域中，一些相关的研究包括：《Unsupervised Data Augmentation for Consistency Training》、《Temporal Convolutional Networks for Sequence Classification》、《Time Series Classification from Scratch with Deep Neural Networks: A Strong Baseline》等。