Strike a Balance in Continual Panoptic Segmentation

这项研究探讨了持续的全景分割这一新兴领域，强调了三个关键平衡。首先，我们引入了过去类别回溯蒸馏技术，以平衡现有知识的稳定性和适应新信息的灵活性。该技术基于最终的标签分配结果追溯与过去类别相关的特征，通过知识蒸馏针对以前模型中的这些特定特征，同时允许其他特征灵活适应新信息。此外，我们引入了一种类比例的记忆策略，将重放样本集中的类别分布与历史训练数据的类别分布对齐。这种策略在重放期间保持平衡的类别表示，增强了有限容量的重放样本集在回忆先前类别方面的实用性。此外，我们意识到重放样本仅为其原始步骤的类别进行注释，因此我们设计了平衡的反误导损失，以抵消不完整注释的影响，而不会造成分类偏差。在这些创新的基础上，我们提出了一种名为Balanced Continual Panoptic Segmentation（BalConpas）的新方法。我们在具有挑战性的ADE20K数据集上的评估表明，与现有最先进的方法相比，该方法具有卓越的性能。官方代码可在https://github.com/jinpeng0528/BalConpas上找到。

论文旨在解决连续全景分割中的平衡问题，包括稳定性和适应性、类分布和样本注释不平衡等问题。

论文提出了三种关键思路：过去类回溯蒸馏、类比例记忆策略和平衡反误导损失，以实现对历史知识和新信息的平衡处理。

论文提出的BalConpas方法在ADE20K数据集上表现优于现有的最先进方法，开源代码已经发布在Github上。

最近相关研究包括：Continual Semantic Segmentation, Continual Learning for Object Detection, Continual Learning for Robotics等。