标题:中科大|ISNet: Integrate Image-Level and Semantic-Level Context for Semantic Segmentation(ISNet:基于集成图像级和语义级上下文语义分割)

作者:中科大中国科学院电磁空间信息重点实验室Zhenchao Jin, Bin Liu副教授

简介:本文通过聚合上下文来增强语义图像分割任务中的像素表示。现有的方法侧重于从上下文建模整个图像的视角,即聚合图像级别的上下文信息。尽管令人印象深刻,这些方法削弱了同一类别的像素表示的重要性,即语义级上下文信息。为了解决这个问题,本文提出通过聚合来增强像素表示分别是图像级和语义级上下文信息。首先,设计了一个图像级上下文模块捕获图像中每个像素的上下文信息整个图像。其次,作者聚合了在真值监督下学习类别区域的每个像素的相同类别分割。第三,作者计算之间的相似度每个像素表示和图像级上下文信息,分别是语义级上下文信息。最后,一个像素表示被增强加权聚合图像级上下文信息和语义级上下文信息权重的相似性。集成图像级和语义级上下文使本文能够报告四个基准的最新准确性,即ADE20K、LIP、COCOStuff和城市景观。

代码下载:https://github.com/SegmentationBLWX/sssegmentation

论文下载:https://arxiv.org/pdf/2108.12382.pdf

内容中包含的图片若涉及版权问题,请及时与我们联系删除