Background Adaptation with Residual Modeling for Exemplar-Free Class-Incremental Semantic Segmentation

Class Incremental Semantic Segmentation（CISS）是一种用于语义分割的增量学习方法，旨在在减少对旧类别的灾难性遗忘的同时，对新类别进行分割。此外，背景移位是CISS面临的一个特殊挑战，即每一步中背景类别都在不断变化。目前，采用共享背景分类器的方法难以跟上这些变化，导致背景预测的稳定性降低，分割的准确性也降低。为了解决这一特殊挑战，作者设计了一种新的背景适应机制，该机制明确地对每一步的背景残差进行建模，而不是对背景本身进行建模，并聚合这些残差以表示不断演变的背景。因此，背景适应机制确保了先前背景分类器的稳定性，同时使模型能够集中精力学习附加通道中易于学习的残差，从而增强背景区分能力，更好地预测新类别。为了精确优化背景适应机制，作者提出了伪背景二元交叉熵损失和背景适应损失，以增强适应效果。设计了组知识蒸馏和背景特征蒸馏策略，以防止遗忘旧类别。作者在Pascal VOC 2012和ADE20K数据集上进行了各种增量场景的评估，结果表明，该方法在VOC 10-1和ADE 100-5中的mIoU分别提高了3.0％和2.0％，显著提高了新类别的准确性，同时减轻了灾难性遗忘。代码可在https://andyzaq.github.io/barmsite/上获取。

本文旨在解决增量学习中语义分割的问题，即如何在学习新类别的同时减少对旧类别的灾难性遗忘。

本文提出了一种新的背景适应机制，通过显式建模每一步中的背景残差而不是背景本身，并聚合这些残差来表示不断变化的背景。这种背景适应机制确保了先前背景分类器的稳定性，同时使模型能够集中于来自附加通道的易学残差，从而增强背景识别以更好地预测新类别。

本文的亮点包括：提出了一种新的背景适应机制，设计了Pseudo Background Binary Cross-Entropy loss和Background Adaptation losses来精确优化背景适应机制，提出了Group Knowledge Distillation和Background Feature Distillation策略来防止遗忘旧类别。实验在Pascal VOC 2012和ADE20K数据集上进行，优于先前的无样本最先进方法，在VOC 10-1和ADE 100-5上的mIoU分别为3.0％和2.0％，显着提高了新类别的准确性同时减轻了灾难性遗忘。代码公开在https://andyzaq.github.io/barmsite/。

在增量学习中语义分割领域的相关研究还包括：《Incremental Learning for Semantic Segmentation》、《Continual Learning for Semantic Segmentation with Knowledge Distillation》、《Progressive Learning of Topic Modeling with Incremental Background Knowledge》等。