Context-Guided Spatial Feature Reconstruction for Efficient Semantic Segmentation

本文介绍了一种基于上下文引导的空间特征重构的高效语义分割框架CGRSeg，该框架在计算成本有限的情况下实现了先进的性能。为了实现空间特征重构和金字塔上下文提取，设计了一个矩形自校准模块，该模块可以在水平和垂直方向上捕获全局上下文，并获得轴向全局上下文以明确地建模矩形关键区域。设计了一个形状自校准函数，使关键区域更接近前景对象。此外，还提出了一个轻量级动态原型引导头，通过显式类嵌入来改善前景对象的分类。CGRSeg在ADE20K、COCO-Stuff和Pascal Context基准测试上进行了广泛评估，并实现了最先进的语义性能。具体而言，它在ADE20K上实现了43.6%的mIoU，仅使用4.0 GFLOPs，比SeaFormer和SegNeXt分别提高了0.9%和2.5%的mIoU，但GFLOPs减少了约38.0%。代码可在https://github.com/nizhenliang/CGRSeg获取。

论文旨在提供一种高效的语义分割框架，以在有限的计算成本下实现先进性能。这是一个新问题。

CGRSeg是一个基于上下文引导空间特征重建的高效分割框架。它使用矩形自校准模块进行空间特征重建和金字塔上下文提取，并使用形状自校准函数将关键区域更靠近前景对象。此外，它还提出了一个轻量级的动态原型引导头，以通过显式类嵌入改进前景对象的分类。

论文在ADE20K、COCO-Stuff和Pascal Context基准测试中进行了广泛评估，并取得了最先进的语义性能。它在只有4.0 GFLOPs的情况下在ADE20K上实现了43.6%的mIoU，比SeaFormer和SegNeXt分别提高了0.9%和2.5%的mIoU，但GFLOPs减少了约38.0%。该论文提供了代码。

最近在这个领域中，还有一些相关的研究。例如，SeaFormer和SegNeXt。