SimTxtSeg: Weakly-Supervised Medical Image Segmentation with Simple Text Cues

这篇论文介绍了一种新的框架SimTxtSeg，旨在降低标注成本的同时保持分割性能，用于解决弱监督医学图像分割这一具有挑战性的任务。该框架利用简单的文本线索生成高质量的伪标签，并研究了训练分割模型中的跨模态融合。该框架包括两个关键组成部分：一种有效的文本到视觉线索转换器，用于在医学图像上从文本提示中生成视觉提示；以及一种文本引导的分割模型，具有文本-视觉混合注意力，用于融合文本和图像特征。作者在结肠息肉分割和MRI脑肿瘤分割两个医学图像分割任务上评估了该框架，并取得了一致的最先进性能。

本文旨在解决弱监督医学图像分割任务中标注成本高的问题，通过利用简单的文本提示生成高质量的伪标签，并研究跨模态融合训练分割模型的方法。

本文提出了SimTxtSeg框架，包括一个有效的文本到视觉提示转换器和一个基于文本引导的分割模型，其中包括文本-视觉混合注意力机制，用于融合文本和图像特征。

本文在结直肠息肉分割和MRI脑肿瘤分割任务上进行了评估，并取得了一致的最先进性能。文中还提供了实验细节、使用的数据集和开源代码。

最近的相关研究包括：1）使用注意力机制提高医学图像分割的性能；2）使用深度学习技术进行弱监督医学图像分割；3）使用文本提示进行医学图像分割。相关论文包括：1）Attention U-Net: Learning Where to Look for the Pancreas；2）Learning from Noisy Anchors for Weakly Supervised Segmentation；3）Weakly Supervised Segmentation of Primary Tumor in CT Scans with Multi-Level Self-Supervision。