UltraLight VM-UNet: Parallel Vision Mamba Significantly Reduces Parameters for Skin Lesion Segmentation

传统上，为了提高模型的分割性能，大多数方法都喜欢使用添加更复杂的模块。但这对于医疗领域来说并不适用，特别是对于移动医疗设备来说，由于计算资源的限制，计算负载较重的模型不适用于真实的临床环境。最近，状态空间模型（SSMs）（由Mamba代表）已成为传统CNN和Transformer的强有力竞争对手。在本文中，我们深入探讨了Mamba中参数影响的关键要素，并基于此提出了一种UltraLight Vision Mamba UNet（UltraLight VM-UNet）。具体而言，我们提出了一种并行处理视觉Mamba中特征的方法，称为PVM层，它在保持总处理通道数不变的同时，以最低的计算负载实现了出色的性能。我们在三个皮肤病公共数据集上对比和进行了减薄实验，证明了UltraLight VM-UNet具有同样强大的性能竞争力，参数仅为0.049M，GFLOPs为0.060。此外，本研究深入探讨了Mamba中参数影响的关键要素，这将为Mamba未来有可能成为轻量级模块的新主流奠定理论基础。代码可从https://github.com/wurenkai/UltraLight-VM-UNet获得。

本文旨在解决在医疗领域中，特别是移动医疗设备中，模型复杂度过高导致计算资源不足的问题，提出一种基于状态空间模型（SSMs）的轻量级神经网络UltraLight VM-UNet。

本文的关键思路是通过在状态空间模型中深入探索参数影响的关键元素，提出一种名为PVM Layer的并行处理特征的方法，从而实现低计算负载、保持总处理通道数不变的优秀性能。

本文在三个皮肤病数据集上进行了比较和消融实验，证明了UltraLight VM-UNet具有与参数仅为0.049M和GFLOPs为0.060的其他轻量级模型相同的强大性能竞争力。此外，本文还深入探讨了状态空间模型中参数影响的关键元素，为状态空间模型未来成为轻量化的主流模块奠定了理论基础。代码已经开源。

近期在轻量级模型领域的相关研究包括：《MobileNetV3: Searching for MobileNetV3》、《GhostNet: More Features from Cheap Operations》、《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》等。