Learning at a Glance: Towards Interpretable Data-limited Continual Semantic Segmentation via Semantic-Invariance Modelling

本文提出了一种名为Learning at a Glance (LAG)的方法，用于实现基于增量学习的连续语义分割（CSS），是发展类人分割模型的一项重大努力。然而，当前的CSS方法在保留旧知识和学习新知识之间存在权衡的挑战，它们仍需要大规模注释数据进行增量训练，并且缺乏可解释性。LAG是一种简单且模型无关的架构，同时具有高效性、鲁棒性、类人性和可解释性。我们通过基于类人识别模式的启发，提出了一种通过语义特征解耦实现语义不变性建模的方法，以同时实现坚实的知识继承和新术语学习。我们的方法通过两种方式实现解耦，即通道解耦和空间级神经元相关的语义一致性。我们的方法通过不对称对比学习方法限制样本特定内容，以增强模型在增量学习步骤中的鲁棒性。实验结果在多个数据集上验证了该方法的有效性。此外，我们还介绍了一种更好地反映现实数据有限的CSS设置的新型CSS协议，并且LAG在多个数据有限的条件下实现了优越的性能。

解决问题：论文提出了一种有效、鲁棒、可解释的连续语义分割方法，旨在解决当前CSS方法在保留旧知识和学习新知识之间的权衡问题以及需要大规模标注数据的问题。

关键思路：LAG是一种简单的、模型无关的体系结构，通过语义特征解耦提出了一种语义不变建模方法，同时保留语义不变的知识作为坚实的原型以缓解灾难性遗忘，通过一种非对称对比学习方法来增强模型的鲁棒性，从而实现了在有限的增量数据下实现高效的CSS。

其他亮点：论文提出了一种更符合实际数据限制条件的CSS协议，并在多个数据集上进行了实验，证明了LAG方法的有效性。论文还提供了开源代码。值得进一步研究的是LAG方法的应用范围以及更多的CSS协议设计。

相关研究：最近的相关研究包括《Continual Learning for Semantic Segmentation with Knowledge Distillation》、《Incremental Learning for Semantic Segmentation》等。