CLR: Channel-wise Lightweight Reprogramming for Continual Learning

Y Ge, Y Li, S Ni, J Zhao, M Yang, L Itti
[University of Southern California & Google Research]

CLR：面向持续学习的通道级轻量重编程方法

  • 动机：针对持续学习中存在的灾难性遗忘问题，提出一种轻量的通道重编程方式，使得卷积神经网络能在不遗忘旧任务的前提下，学习新任务。

  • 方法：通过引入通道级轻量重编程(CLR)方法，保留公共任务不可变部分作为共享“锚点”参数集，然后添加任务特定的轻量重编程参数，以便重新解释不可变部分的输出，以实现新知识的融合。对于序列任务的学习，只需要训练轻量重编程参数即可。 优势：CLR方法可以解决灾难性遗忘问题，对于新任务的参数需求微乎其微(不超过原始参数的0.6%)，并在53个图像分类数据集的新挑战序列上超越了13个最新的持续学习基线。

提出一种针对CNN的持续学习解决方案--通道级轻量重编程方法，通过任务特定的轻量参数实现新任务的学习和旧任务的保留，提供了更好的稳定性-可塑性权衡，实现了更低的额外参数需求，并在挑战性图像分类任务上实现了最优性能。

https://github.com/gyhandy/ Channel-wise-Lightweight-Reprogramming 

https://arxiv.org/abs/2307.11386


图片

图片

图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除