论文标题：Convolution-Free Medical Image Segmentation using Transformers 论文链接：https://arxiv.org/abs/2102.13645 作者单位：哈佛医学院 无需任何卷积运算！分割性能优于现有CNN的网络，如UNet++等。

像计算机视觉中的其他应用一样，使用深度学习模型最成功地解决了医学图像分割问题，该模型依赖卷积运算作为其主要构建模块。卷积具有重要的属性，例如稀疏相互作用，权重分配和平移等方差。这些特性使卷积神经网络（CNN）成为视觉任务的强大而有用的 inductive bias。在这项工作中，我们证明了一种完全基于相邻图像块之间的自注意力并且无需任何卷积运算的不同方法，可以取得有竞争力的结果或更好的结果。给定一个3D图像块，我们的网络将其划分为n3个3D补丁，其中n = 3或5，并为每个补丁计算1D嵌入。网络基于这些补丁嵌入之间的自注意力来预测该块的中心补丁的分割图。我们表明，所提出的模型可以实现比三个数据集上的现有CNN更好的分割精度。我们还提出了在大量未标记图像上对该模型进行预训练的方法。我们的实验表明，通过预训练，当标记的训练数据较小时，我们提出的网络在CNN上的优势会非常明显。

内容中包含的图片若涉及版权问题，请及时与我们联系删除