Future-Proofing Class Incremental Learning

在没有回放记忆的情况下，无样本类增量学习是一个极具挑战性的设置。最近，依赖于冻结特征提取器的方法因其卓越的性能和较低的计算成本而引起了人们的关注。然而，这些方法高度依赖于用于训练特征提取器的数据，当第一个增量步骤中可用的类别数量不足时，这些方法可能会遇到困难。为了克服这个限制，我们提出使用预先训练的文本到图像扩散模型来生成未来类别的合成图像，并用它们来训练特征提取器。在标准基准数据集CIFAR100和ImageNet-Subset上的实验表明，我们提出的方法可以用于改进无样本类增量学习的最新方法，特别是在第一个增量步骤中只包含少量类别的最困难的情况下。此外，我们展示了使用未来类别的合成样本比使用来自不同类别的真实数据可以实现更高的性能，为增量学习提供更好、更少成本的预训练方法铺平了道路。

本文旨在解决无范例增量学习中的困难问题，即在没有重播记忆的情况下进行增量学习。作者提出使用预训练的文本到图像扩散模型生成未来类别的合成图像，并使用这些图像来训练特征提取器，以提高无范例增量学习的性能。

本文的关键思路是使用预训练的文本到图像扩散模型生成未来类别的合成图像，并使用这些图像来训练特征提取器。这种方法可以克服特征提取器训练数据不足的问题，并提高无范例增量学习的性能。

本文的实验使用了标准基准数据集CIFAR100和ImageNet-Subset，并展示了所提出方法在无范例增量学习中的有效性。使用合成样本比使用不同类别的真实数据表现出更高的性能。此外，本文提出的方法还可以减少预训练方法的成本，为增量学习提供更好的方法。

近期在此领域的相关研究包括：《Learning without Memorizing》、《Continual Learning with Deep Generative Replay》、《Gradient Episodic Memory for Continual Learning》等。