来自今日爱可可的前沿推介

推荐理由：该方法优化了每个任务类原型的位置，可避免灾难性遗忘。持续HyperTransformer 是一种少样本学习方法，可以用新任务的信息更新CNN权重，可用于任务增量和类增量场景。

M Vladymyrov, A Zhmoginov, M Sandler
[Google Research]

基于HyperTransformers的持续少样本学习

要点:

  1. 提出一种新方法——持续HyperTransformer(CHT)，可以学习而不会遗忘按顺序接触的多个任务，其中每个任务都是用小说里的几段或已经见过的课程来定义的；
  2. 用 HyperTransformer 直接从支持集生成特定于任务的CNN权重；
  3. 迭代重用生成的权重，作为下一任务 HyperTransformer 的输入，从而避免了缓冲重放、权重正则化或以及任务相关的架构更改；
  4. CHT 可用于任务增量和类增量场景，优化了每个任务类原型的位置，避免了灾难性遗忘。

摘要：


本文专注于学习而不忘记按顺序接触的多个任务，其中每个任务都是使用小说中的几段或已经看过的课程来定义的。用最近发布的HyperTransformer(HT)来解决该问题，HyperTransformer(HT)是一种基于Transformer的超网络，直接从支持集中生成特定于任务的CNN权重。为了从连续的任务序列中学习，提出递归重用生成权重作为下一个任务HT的输入。这样，生成的CNN权重本身可以代表以前学习过的任务，HT被训练来更新这些权重，以便在不忘记过去任务的情况下学习新任务。这种方法不同于大多数持续学习算法，这些算法通常依赖于使用缓冲重放、权重正则化或与任务相关的架构更改。所提出的配备原型损失的持续HyperTransformer方法能学习和保留各种场景中过去任务的知识，包括从mini-batches中学习，以及任务增量和类增量学习场景。

https://arxiv.org/abs/2301.04584

We focus on the problem of learning without forgetting from multiple tasks arriving sequentially, where each task is defined using a few-shot episode of novel or already seen classes. We approach this problem using the recently published HyperTransformer (HT), a Transformer-based hypernetwork that generates a specialized task-specific CNN weights directly from the support set. In order to learn from a continual sequence of task, we propose to recursively re-use the generated weights as input to the HT for the next task. This way, the generated CNN weights themselves act as a representation of previously learned tasks, and the HT is trained to update these weights so that the new task can be learned without forgetting past tasks. This approach is different from most continual learning algorithms that typically rely on using replay buffers, weight regularization or task-dependent architectural changes. We demonstrate that our proposed Continual HyperTransformer method equipped with a prototypical loss is capable of learning and retaining knowledge about past tasks for a variety of scenarios, including learning from mini-batches, and task-incremental and class-incremental learning scenarios.


图片
图片
图片
图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除