U-TELL: Unsupervised Task Expert Lifelong Learning

连续学习模型旨在学习按顺序到达的新任务，而无需重新训练网络。然而，现实中的机器学习应用程序具有非常有限的标签信息，这些模型容易出现灾难性遗忘。为了解决这些问题，我们提出了一种带有任务专家的无监督连续学习模型，称为无监督任务专家终身学习（U-TELL），以持续学习按顺序到达的数据并解决灾难性遗忘。在U-TELL的训练过程中，我们引入了一个新的专家来处理新任务的到来。我们提出的架构具有任务专家、结构化数据生成器和任务分配器。每个任务专家由三个块组成：i）变分自编码器，用于捕获任务分布和执行数据抽象，ii）k-means聚类模块，以及iii）结构提取器，以保留潜在的任务数据签名。在测试期间，任务分配器选择一个合适的专家来执行聚类。U-TELL不存储或重放任务样本，而是使用生成的结构化样本来训练任务分配器。我们将U-TELL与五种SOTA无监督连续学习方法进行了比较。U-TELL在七个基准测试和一个工业数据集上表现优于所有基线，而训练时间比最佳表现基线快6倍以上。

解决问题的是连续学习模型在面对有限标签信息时出现的灾难性遗忘问题，同时提出了一种无监督的连续学习模型 U-TELL 来解决这个问题。

U-TELL 模型引入了任务专家、结构化数据生成器和任务分配器，每个任务专家由变分自编码器、k-means聚类模块和结构提取器组成，通过引入新的任务专家来避免灾难性遗忘问题。模型在测试时使用任务分配器来选择适当的专家来执行聚类。

U-TELL 模型在七个基准测试和一个工业数据集上的表现均优于其他五种无监督连续学习方法，在训练时间方面也比最佳基线快 6 倍。实验使用了多个数据集，并提供了开源代码。

相关研究包括 Incremental Moment Matching (IMM)、Online EWC (o-EWC)、Synaptic Intelligence (SI) 等。