- 简介白光成像(WLI)和窄带成像(NBI)是用于息肉分类的两种主要结肠镜检查模式。虽然作为光学染色内镜的NBI能够提供有价值的血管细节,但WLI仍然是资源有限环境中最常见且往往是唯一的可用模式。然而,基于WLI的方法通常表现较差,限制了其临床应用。现有的方法通过全局特征对齐将NBI的知识迁移到WLI,但这些方法通常依赖于裁剪后的病变区域,这不仅容易受到检测误差的影响,还忽略了上下文和细微的诊断线索。为了解决这一问题,本文提出了一种全新的整体分类框架,该框架无需定位息肉即可实现全图像诊断。其核心创新在于无对齐密集蒸馏(Alignment-free Dense Distillation, ADD)模块,该模块能够在不依赖WLI和NBI图像对齐的情况下,实现细粒度的跨域知识迁移。ADD通过学习像素级的跨域亲和性来建立特征图之间的对应关系,从而引导蒸馏沿着最相关的像素连接进行。为进一步提高蒸馏的可靠性,ADD引入了类激活映射(Class Activation Mapping, CAM)来过滤跨域亲和性,确保蒸馏路径仅连接那些语义一致且对息肉诊断具有同等贡献的区域。在公共数据集和内部数据集上的广泛实验结果表明,我们的方法达到了最先进的性能,分别在AUC指标上相对优于其他方法至少2.5%和16.2%。代码可在以下链接获取:https://github.com/Huster-Hq/ADD。
-
- 图表
- 解决问题该论文试图解决在资源有限的情况下,仅使用白光成像(WLI)进行结肠息肉分类的性能不足问题。由于WLI图像缺乏NBI图像提供的血管细节信息,基于WLI的方法通常表现不佳,限制了其临床应用。这是一个重要的实际问题,特别是在医疗资源有限的地区。
- 关键思路论文提出了一种名为Alignment-free Dense Distillation (ADD) 的模块,用于在无需显式对齐的情况下实现WLI和NBI图像之间的细粒度跨域知识蒸馏。与现有方法不同,ADD通过学习像素级的跨域亲和力来建立特征图之间的对应关系,并结合类激活映射(CAM)过滤语义不一致的区域,确保蒸馏路径连接对息肉诊断有同等贡献的区域。这种方法避免了传统方法中依赖裁剪病变区域的问题,同时保留了全局上下文信息。
- 其它亮点论文设计了全面的实验,验证了方法在公共数据集和内部数据集上的有效性,AUC相对提升了至少2.5%和16.2%。此外,代码已开源至GitHub(https://github.com/Huster-Hq/ADD),为后续研究提供了便利。未来可以进一步探索更复杂的网络架构或结合其他医学影像任务的研究。
- 近期相关研究包括:1) 使用深度学习模型直接从WLI图像中提取特征进行息肉分类;2) 基于图像对齐技术的知识迁移方法;3) 利用生成对抗网络(GAN)将WLI图像转换为类似NBI的图像以提升分类性能。例如,《Deep Learning for Polyp Classification in Colonoscopy》、《CycleGAN-Based Domain Adaptation for Colonoscopy Images》等论文探讨了类似的课题。
NEW
提问交流
提交问题,平台邀请作者,轻松获得权威解答~
向作者提问

提问交流