- 简介肺部感染区域分割对于评估肺部疾病的严重程度至关重要。然而,现有的图像-文本多模态方法通常依赖于耗时的注释来进行模型训练,这在时间和专业知识方面都存在挑战。为了解决这个问题,我们提出了一种新颖的基于属性知识引导的无监督肺部感染区域分割框架(AKGNet),它仅基于图像-文本数据实现分割,而不需要任何掩模注释。AKGNet同时促进文本属性知识学习、属性-图像交叉注意力融合和基于高置信度的伪标签探索。它可以在嵌入空间中学习统计信息和捕捉图像和文本属性之间的空间相关性,通过迭代改进掩模来增强分割。具体来说,我们引入了一个文本属性知识学习模块,通过提取属性知识并将其合并到特征表示中,使模型能够学习统计信息并适应不同的属性。此外,我们设计了一个属性-图像交叉注意力模块,通过在嵌入空间中计算属性和图像之间的相关性来捕捉空间依赖信息,从而有选择地关注相关区域并过滤不相关区域。最后,我们采用自我训练的掩模改进过程,通过使用高置信度预测生成伪标签来迭代地增强掩模和分割。在基准医学图像数据集上的实验结果表明,我们的方法在无监督场景下的分割技术方面优于现有技术。
-
- 图表
- 解决问题解决肺部感染区域分割的问题,避免需要大量手动注释的困扰。
- 关键思路提出了一种基于属性知识引导的无监督肺部感染区域分割方法(AKGNet),通过图像和文本数据的交互学习,无需掩模注释即可实现分割。该方法通过文本属性知识学习、属性-图像交叉注意力融合和基于高置信度的伪标签探索等模块实现。
- 其它亮点该方法在医学图像数据集上进行了实验,证明了其在无监督场景下的优越性能,相较于当前领域的其他分割技术有明显提升。
- 在该领域的相关研究中,最近的一些论文包括:'Deep learning for lung cancer detection: tackling the Kaggle Data Science Bowl 2017'、'A survey on deep learning in medical image analysis'、'Lung segmentation in chest radiographs using anatomical atlases with nonrigid registration'等。
NEW
提问交流
提交问题,平台邀请作者,轻松获得权威解答~
向作者提问

提问交流