Automated Contrastive Learning Strategy Search for Time Series

近年来，对比学习（CL）已成为时间序列表示学习的主要范式。文献中大多数现有方法都集中于通过人类启发式方法手动构建特定的对比学习策略（CLS）来针对某些数据集和任务。然而，手动开发CLS通常需要对数据集和任务有过多的先验知识，例如医疗保健中的医学时间序列的专业认知，以及大量的人力和大量实验来确定详细的学习配置。在本文中，我们提出了微软的自动化机器学习（AutoML）实践，该实践自动学习对于各种时间序列数据集和任务进行对比学习表示，即自动对比学习（AutoCL）。我们首先构建了一个原则性的通用搜索空间，大小超过3x1012，涵盖了数据增强、嵌入变换、对比对构造和对比损失。此外，我们引入了一种有效的强化学习算法，该算法通过验证任务的性能来优化CLS，以在空间内获得更有效的CLS。各种真实世界的任务和数据集的实验结果表明，AutoCL能够自动找到适合给定数据集和任务的CLS。从AutoCL在几个公共数据集/任务上找到的候选CLS中，我们组成了一个可转移的普遍良好策略（GGS），该策略在其他数据集上表现出很强的性能。我们还提供了实证分析作为未来设计CLS的指导。

本论文旨在提出一种自动学习对比学习表示的方法，即自动对比学习（AutoCL），以解决手动开发对比学习策略需要大量先验知识和人力的问题。

论文提出了一个包含数据增强、嵌入变换、对比对构建和对比损失的搜索空间，并使用强化学习算法从验证任务的性能中优化对比学习策略，以自动找到适合给定数据集和任务的对比学习策略。

论文使用了自动机器学习的方法，构建了一个巨大的搜索空间，并提出了一种高效的强化学习算法，用于优化对比学习策略。实验结果表明，AutoCL能够自动找到适合给定数据集和任务的对比学习策略，并且在多个公共数据集和任务上表现出色。论文还提供了一些经验分析，作为未来对比学习策略设计的指导。

最近的相关研究包括《Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination》和《A Simple Framework for Contrastive Learning of Visual Representations》等。