Taxonomy-Aware Continual Semantic Segmentation in Hyperbolic Spaces for Open-World Perception

语义分割模型通常在固定的类别集上进行训练，限制了它们在开放世界场景中的适用性。增量学习旨在更新模型以涵盖新出现的类别，同时防止对先前学习的类别产生灾难性遗忘。然而，现有方法对旧类别施加了严格的僵化限制，降低了它们在学习新的增量类别方面的效果。在本文中，我们提出了面向分类树的Poincaré正则化增量类别分割(TOPICS)，它在双曲空间中学习特征嵌入，遵循明确的分类树结构。这种监督为旧类别提供了可塑性，基于新类别更新祖先，同时在适当的位置整合新类别。此外，我们在Poincaré球的几何基础上维护了隐式的类别关系约束。这确保了潜在空间可以持续适应新的约束条件，同时保持稳健的结构以防止灾难性遗忘。我们还在自动驾驶场景下建立了八个现实的增量学习协议，其中新类别可以来自已知类别或背景。在Cityscapes和Mapillary Vistas 2.0基准测试中对TOPICS进行了广泛评估，证明它实现了最先进的性能。我们将代码和训练模型公开发布在http://topics.cs.uni-freiburg.de。

本文旨在解决类别增量语义分割中对旧类别的严格限制问题，以及如何防止灾难性遗忘。

本文提出了一种基于Poincaré几何的分类增量语义分割模型，通过显式的分类树结构学习超bolic空间中的特征嵌入，使模型能够灵活更新旧类别，并且在适当的位置整合新类别，同时通过几何基础上的隐式类关系约束，确保潜在空间可以持续适应新的约束条件，同时保持强大的结构以抵抗灾难性遗忘。

本文在自动驾驶场景下建立了八个逼真的增量学习协议，其中新类别可以来自已知类别或背景。在Cityscapes和Mapillary Vistas 2.0基准测试中进行了广泛的评估，结果表明TOPICS达到了最先进的性能。作者还公开了代码和训练模型。

相关研究包括增量学习、类别增量学习、语义分割、超bolic空间嵌入。其中一些相关论文包括《Learning to Learn without Forgetting by Maximizing Transfer and Minimizing Interference》、《Dynamic Few-Shot Visual Learning without Forgetting》、《Incremental Learning of Object Detectors without Catastrophic Forgetting》等。