【论文标题】Medical Image Segmentation using Squeeze-and-Expansion Transformers

【作者团队】Shaohua Li, Xiuchao Sui, Xiangde Luo, Xinxing Xu, Yong Liu, Rick Siow Mong Goh

【发表时间】2021/05/20

【机构】A*高性能研究所，电子科技大学

【论文链接】https://arxiv.org/pdf/2105.09511.pdf

本文出自 A star 研究所与电子科技大学联合团队，作者针对医学图像分割中的多尺度信息提取问题，提出了一种融合了「挤压-激励」的 Transformer 网络，在 2D 和 3D 医学图像分割实验中取得了具有竞争力的性能。

医学图像分割对于计算机辅助诊断十分重要。良好的分割需要模型同时观察大的图片和精细的细节，即学习包含大背景并保持高空间分辨率的图像特征。

为了实现这一目标，最广泛使用的方法是 U-Net 及其变体，它们可以提取并融合多尺度特征。但是，融合后的特征仍然具有较小的「有效感受野」，它们主要关注局部的图像线索，从而限制了它们的性能。

在本文中，作者提出了 Segtran，这是一种基于 Transformer 的分割框架，即使在具有高特征分辨率时也拥有不受限制的「有效感受野」。 Segtran 的核心是一种新颖的「挤压-激励」Transformer：它包含一个挤压后的注意力模块，该模块被用于调整 Transformer 的自注意力；而另一个激励模块则可以学习各种表征。

此外，作者为 Transformer 提出了一种新的位置编码方案，对图像施加了连续性归纳偏置。

作者进行了 2D 和 3D 医学图像分割实验，与现有的代表性方法相比，Segtran 的分割准确率始终更高，并展现出良好的跨域泛化能力。

图 1：Segtran 架构示意图

内容中包含的图片若涉及版权问题，请及时与我们联系删除