- 简介医学图像分类是计算机视觉领域中非常基础和关键的任务。近年来,基于卷积神经网络和Transformer的模型广泛用于分类各种医学图像。不幸的是,CNN在长距离建模能力方面的限制阻碍了它们有效地提取医学图像中的细粒度特征,而Transformer则受到其二次计算复杂度的限制。最近的研究表明,由Mamba表示的状态空间模型(SSM)可以高效地建模长距离交互,同时保持线性计算复杂度。受此启发,我们提出了面向医学图像分类的Vision Mamba(MedMamba)。更具体地说,我们引入了一种新颖的Conv-SSM模块,它将卷积层的局部特征提取能力与SSM捕捉长距离依赖性的能力相结合。为了展示MedMamba的潜力,我们使用三个公开可用的医学数据集(即Kvasir(内窥镜图像)、FETAL_PLANES_DB(超声图像)和Covid19-Pneumonia-Normal Chest X-Ray(X射线图像))和两个自己构建的私有数据集进行了广泛的实验。实验结果表明,所提出的MedMamba在检测各种医学图像中的病变方面表现良好。据我们所知,这是第一个专门针对医学图像分类的Vision Mamba。本研究的目的是为医学图像分类任务建立一个新的基线,并为未来更高效、更有效的基于SSM的人工智能算法和应用系统的发展提供有价值的见解。源代码已经在https://github.com/YubiaoYue/MedMamba上可用。
- 图表
- 解决问题本论文旨在解决医学图像分类中长距离建模和计算复杂度的问题,提出了一种新的基于Mamba的Vision Mamba模型。
- 关键思路论文提出了一种新的Conv-SSM模块,将卷积层的局部特征提取能力和SSM的长距离依赖捕捉能力相结合,实现了高效的医学图像分类。
- 其它亮点论文使用了Kvasir、FETAL_PLANES_DB和Covid19-Pneumonia-Normal Chest X-Ray等公开数据集和两个私有数据集进行了广泛的实验,结果表明提出的MedMamba模型在各种医学图像中检测病变方面表现良好。此外,论文提供了源代码,为未来更有效的基于SSM的人工智能算法和应用系统的发展提供了有价值的见解。
- 最近在这个领域中,也有一些使用CNN和Transformer进行医学图像分类的研究,如《Deep Learning for Medical Image Analysis: A Review》和《Attention-Based Deep Multiple Instance Learning for Medical Image Classification》等。
沙发等你来抢
去评论
评论
沙发等你来抢