图像级弱监督语义分割（WSSS）是一项基本但极具挑战性的计算机视觉任务，该任务有助于促进场景理解和自动驾驶领域的发展。现有的技术大多采用基于分类的类激活图（CAM）作为初始的伪标签，这些伪标签往往集中在有判别性的图像区域，缺乏针对于分割任务的定制化特征。 

为了解决上述问题，字节跳动 - 智能创作团队提出了一种即插即用的激活值调制和重校准（Activation Modulation and Recalibration 简称 AMR）模块来生成面向分割任务的 CAM，大量的实验表明，AMR 不仅在 PASCAL VOC 2012 数据集上获得最先进的性能。实验表明，AMR 是即插即用的，可以作为其他先进方法的子模块来提高性能。论文已入选机器学习顶级论文 AAAI2022，相关代码即将开源。

论文链接：

https://arxiv.org/abs/2112.08996

GitHub 链接：

https://github.com/jieqin-ai/AMR

该方案利用聚光灯分支和补偿分支获得加权 CAM，从而提供重校准的监督信号。注意力调制模块（AMM）按照通道 - 空间的顺序重新学习特征重要性的分布，这有助于显式地建模通道相关性和空间编码，以自适应地调制面向分割任务的激活响应。此外，研究者还针对双分支引入了一种交叉伪监督机制，它可以被视为一种语义相似的正则化机制来相互细化两个分支。实验结果表明，该方法可以通过学习大量粗粒度的标注获得良好的分割结果，这对实际应用非常有益。

内容中包含的图片若涉及版权问题，请及时与我们联系删除