U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation

卷积神经网络（CNN）和Transformer是生物医学图像分割最流行的架构，但由于本质上的局部性或计算复杂性，它们都有处理长距离依赖性的能力受限。为了解决这个挑战，我们介绍了U-Mamba，一种用于生物医学图像分割的通用网络。受状态空间序列模型（SSMs）的启发，这是一种新的深度序列模型家族，以其在处理长序列方面的强大能力而闻名，我们设计了一个混合CNN-SSM块，将卷积层的局部特征提取能力与SSMs的长距离依赖性捕捉能力相结合。此外，U-Mamba拥有自配置机制，允许它在无需人工干预的情况下自动适应各种数据集。我们对四个不同的任务进行了广泛的实验，包括CT和MR图像中的3D腹部器官分割、内窥镜图像中的器械分割和显微镜图像中的细胞分割。结果表明，U-Mamba在所有任务中都优于最先进的基于CNN和Transformer的分割网络。这为生物医学图像分析中的高效长距离依赖建模开辟了新的途径。代码、模型和数据可在https://wanglab.ai/u-mamba.html上公开获取。

U-Mamba试图解决CNN和Transformer在处理长距离依赖方面的局限性，提出了一种结合卷积层和SSM模型的混合网络，用于生物医学图像分割。

U-Mamba的关键思路是将卷积层和SSM模型相结合，利用SSM模型的长距离依赖处理能力来提高生物医学图像分割的性能。

U-Mamba在四个不同的生物医学图像分割任务中表现出色，比目前主流的CNN和Transformer模型都要好。此外，U-Mamba还具有自配置机制，可以自适应不同的数据集，代码、模型和数据集也都已公开。

近期的相关研究包括：1. 'Attention U-Net: Learning Where to Look for the Pancreas'；2. 'Deep Learning for Medical Image Segmentation: A Review'；3. 'A Survey on Deep Learning in Medical Image Analysis'。