尽管 U-Net 在医学图像分割任务中取得了巨大成功，但它缺乏明确建模远程依赖关系的能力。因此，视觉Transformer最近已成为替代分割结构，因为它们具有通过自注意力 (SA) 捕获远程相关性的先天能力。然而，Transformer 通常依赖于大规模的预训练，并且具有很高的计算复杂度。此外，SA 只能对单个样本中的self-affinities进行建模，而忽略了整个数据集的潜在相关性。

为了解决这些问题，我们提出了一种名为 Mixed Transformer Module (MTM) 的新型 Transformer 模块，用于同时进行inter- and intra- affinities learning。MTM 首先通过我们精心设计的局部-全局高斯加权自注意力（LGG-SA）有效地计算自关联。

论文链接：

https://arxiv.org/abs/2111.04734

代码链接：

https://github.com/Dootmaan/MT-UNet

内容中包含的图片若涉及版权问题，请及时与我们联系删除