Organizing Background to Explore Latent Classes for Incremental Few-shot Semantic Segmentation

2024年05月29日
  • 简介
    iFSS的目标是通过少量的标注图像将预先训练好的分割模型扩展到新的类别,而无需访问旧的训练数据。在增量学习新类别的过程中,旧类别的数据分布将被破坏,导致灾难性遗忘。同时,新类别只有很少的样本,使得模型无法学习到令人满意的新类别表示。针对iFSS问题,我们提出了一种名为OINet的网络,即背景嵌入空间组织和原型继承网络。具体来说,在训练基础类别时,OINet使用多个背景分类头,并设置多个子类原型来保留潜在新类别的嵌入空间。在增量学习新类别时,我们提出了一种策略来选择最符合当前学习新类别的子类原型,并使新类别继承所选原型的嵌入空间。这个操作允许新类别使用少量样本在嵌入空间中注册,而不影响基础类别的分布。在Pascal-VOC和COCO上的结果表明,OINet实现了新的最先进技术。
  • 作者讲解
  • 图表
  • 解决问题
    iFSS问题:如何在没有旧训练数据的情况下,通过少量注释图像将预训练分割模型扩展到新类别?
  • 关键思路
    提出了一种名为OINet的网络,使用背景嵌入空间组织和原型继承网络来解决iFSS问题。在训练基类时,使用多个分类头为背景设置多个子类原型,以保留潜在新类别的嵌入空间。在增量学习新类别时,选择最符合当前学习新类别的子类原型,并使新类别继承所选原型的嵌入空间。
  • 其它亮点
    实验结果表明,OINet在Pascal-VOC和COCO数据集上实现了新的最先进水平。
  • 相关研究
    最近的相关研究包括:Few-shot学习、增量学习、语义分割等,例如:Few-shot Semantic Segmentation with Prototype Learning、Incremental Few-Shot Learning for Multi-class Classification、Semantic Segmentation with Adaptive Class Incremental Learning等。
许愿开讲
PDF
原文
点赞 收藏
向作者提问
NEW
分享到Link

提问交流

提交问题,平台邀请作者,轻松获得权威解答~

向作者提问