- 简介层次变压器在医学图像分割中取得了显著的成功,这是由于它们具有大的感受野并能够有效地利用全局长程上下文信息的能力。卷积神经网络(CNN)也可以通过使用大内核来提供大的感受野,从而使它们能够在较少的模型参数下实现竞争性能。然而,使用大卷积内核的CNN仍然受到限制,因为它们无法自适应地捕获形状和大小有很大变化的器官的多尺度特征。此外,它们也不能有效地利用全局上下文信息。为了解决这些限制,我们提出了动态大内核(DLK)和动态特征融合(DFF)模块。DLK模块采用多个具有不同内核大小和膨胀率的大内核来捕获多尺度特征。随后,利用动态选择机制根据全局信息自适应地突出显示最重要的空间特征。此外,还提出了DFF模块,根据它们的全局信息自适应地融合多尺度局部特征图。我们将DLK和DFF集成到层次变压器架构中,开发了一种新的架构,称为D-Net。D-Net能够有效地利用多尺度大感受野和自适应利用全局上下文信息。广泛的实验结果表明,D-Net在两个体积分割任务中,包括腹部多器官分割和多模态脑肿瘤分割中,优于其他最先进的模型。我们的代码可在https://github.com/sotiraslab/DLK获得。
- 图表
- 解决问题本文旨在解决使用固定大小卷积核的卷积神经网络在捕捉形状和大小变化较大的器官的多尺度特征方面存在的限制,以及无法有效利用全局上下文信息的问题。
- 关键思路本文提出了动态大卷积核(DLK)和动态特征融合(DFF)模块,并将它们集成到分层变压器体系结构中,以开发一种名为D-Net的新型体系结构。DLK模块利用多个具有不同卷积核大小和扩张率的大卷积核来捕捉多尺度特征,随后使用动态选择机制根据全局信息自适应突出最重要的空间特征。此外,DFF模块被提出,根据它们的全局信息自适应融合多尺度局部特征图。
- 其它亮点本文的亮点包括提出的DLK和DFF模块,以及它们与分层变压器结构的集成。实验结果表明,D-Net在腹部多器官分割和多模式脑肿瘤分割等两个体积分割任务中优于其他最先进的模型。作者公开了代码。
- 最近的相关研究包括利用分层变压器网络进行医学图像分割的工作,如U-Net++和TransUNet。
沙发等你来抢
去评论
评论
沙发等你来抢