【论文标题】Weakly supervised segmentation with cross-modality equivariant constraints 【作者团队】Gaurav Patel and Jose Dolz 【发表时间】2021/04/06 【机构】普渡大学、加拿大高等理工学院 【论文链接】https://arxiv.org/pdf/2104.02488.pdf 【推荐理由】 本文出自普渡大学，目前已被 IEEE TMI 接收。作者针对当前 CAM 模块无法有效利用数据增强等变性信息的问题，提出了一种带有模态内、模态间等变约束的模型架构，并引入了 KL 散度损失促进了不同模态之间的信息交换，效果 SOTA。

为了缓解人们在医学图像语义分割中对大规模标注数据集的需求，研究人员开始探索将弱监督学习技术应用于这一领域。目前大多数弱监督学习方法都利用了类激活映射（CAM）模块，我们可以根据图像级的标签生成 CAM。然而，从分类结果得到的映射是针对于判别任务的，不能作为最优的像素级标签。 在本文中，作者提出了一种新颖的学习策略，在多模态图像场景下利用自监督来显著增强原始的 CAM。具体而言，本文作者基于以下两个观测结果提出了该模型。首先，全监督分割网络的学习通过数据增强的方式隐式地施加了等变性，而这种隐式约束在由图像标签生成的 CAM 上消失了。其次，图像模态之间的共性可以作为一种有效的自监督信号，从而纠正多模态下 CAM 显示的不一致性。为了有效地训练本文提出的模型，作者提出了一个新的损失函数，其中包括一个模内和跨模态等变项，以明确地在训练期间施加这些约束。此外，作者在类别预测分布上增加了 KL 散度，以方便不同模态之间的信息交换，并与等变正则化器相结合，进一步提高了模型的性能。在流行的 BRATS 多模态数据集上进行的详尽实验表明，在相同的学习条件下，本文的方法优于最近的相关文献。

图 1：具有等变性约束的弱监督医学图像分割算法

内容中包含的图片若涉及版权问题，请及时与我们联系删除