上海交大瑞金医院常庆/清华大学宁国琛团队Patterns：开发超轻量医学图像分割算法以提高临床应用效率

交叉学科

Interdisciplinary

2025年6月26日，上海交通大学医学院附属瑞金医院常庆研究员团队联合清华大学宁国琛助理教授在Cell Press细胞出版社旗下期刊Patterns在线发表题为“UltraLight VM-UNet: Parallel Vision Mamba Significantly Reduces Parameters for Skin Lesion Segmentation”的研究论文。本研究为医学图像处理提供了一种轻量级、高效的解决方案。

▲长按图片识别二维码阅读原文

文章亮点

超轻量级模型的突破：仅拥有 0.049M 参数和 0.060 GFLOPs 的计算复杂度。这一突破使得该模型在保持高性能的同时，极大地降低了计算资源消耗，非常适合在移动医疗设备等资源受限的环境中部署，有望推动智能医学图像分割技术在实际临床移动场景中的广泛应用。
即插即用的并行视觉Mamba层（PVM Layer）：其具有良好的通用性，可以作为插件模块替换任意模型中的基础构建块（如卷积层、Transformers、Mamba等），显著减少模型参数和计算复杂度，同时保持优异的分割性能，为轻量级模型的设计提供了新的思路和方法。
在多个数据集上验证的卓越性能：在三个公开的皮肤病变数据集以及口腔溃疡和脾脏分割数据集上对 UltraLight VM-UNet 进行了实验验证。结果表明，该模型在保持极低参数量和计算复杂度的同时，依然能够取得与现有轻量级和经典医学图像分割模型相媲美甚至更优的分割性能。

文章简介

图1 摘要图

1.研究背景

随着人工智能技术的快速发展，深度学习模型在医学图像分割领域的应用日益凸显，其在提升诊断准确性方面发挥了至关重要的作用。然而，传统深度学习模型通常存在参数量庞大、计算复杂度高以及对硬件资源需求过高的局限。这些问题显著限制了其在实际临床环境中的推广与应用，尤其是在移动医疗设备或资源受限场景下。为应对上述挑战，本研究提出了一种超轻量级的医学图像分割算法——UltraLight VM-UNet的超轻量医学图像分割算法。该算法在保持高精度分割性能的同时，显著降低了模型的参数量和计算复杂度，为多样化临床场景下高效、实时的医学图像分析提供了创新性解决方案，尤其在资源受限环境中展现出卓越的适用性与潜力。

2.主要内容和结果

UltraLight VM-UNet的核心优势在于其超轻量的设计。该算法仅拥有0.049M参数和0.060 GFLOPs的计算复杂度，相较于传统的纯Vision Mamba UNet模型，参数减少了99.82%，GFLOPs降低了98.54%。这使得UltraLight VM-UNet能够在资源受限的移动医疗设备上高效运行，无需高端硬件支持，极大地降低了设备成本和能耗，同时也提高了模型的推理速度，使其更适合于实时诊断场景，如皮肤病变的快速筛查。

图2 提出的即插即用的并行视觉Mamba层（PVM Layer）

在性能方面，UltraLight VM-UNet同样表现出色。研究团队在三个公开的皮肤病变数据集（ISIC2017、ISIC2018和PH2）上对UltraLight VM-UNet进行了详细的实验验证。结果表明，该模型在保持极低参数量和计算复杂度的同时，依然能够取得与现有轻量级和经典医学图像分割模型相媲美甚至更优的分割性能。例如，在ISIC2017数据集上，其DSC/F1指标达到了0.9091，在ISIC2018数据集上达到了0.8940，在PH2数据集上达到了0.9265。此外，该模型在推理速度和内存使用方面也表现出色，其推理速度比其他等效的基于Mamba的轻量级模型更快，内存使用量也是所有比较模型中最低的，进一步证明了其在轻量化和性能之间取得了优异的平衡。

UltraLight VM-UNet的另一个重要创新点是即插即用的并行视觉Mamba层（PVM Layer）的设计。作者通过详细分析了Mamba底层理论后，进而提出PVM Layer。其通过将输入特征分割成多个部分，并分别通过并行的视觉 Mamba进行处理，最终将输出结果重新组合，从而在保持总处理通道数不变的情况下，显著降低了参数数量和计算复杂度。实验结果表明，采用PVM Layer的UltraLight VM-UNet在多个公开皮肤病变数据集上展现出了与现有轻量级模型相媲美甚至更优的分割性能，同时参数和计算复杂度大幅降低。此外，PVM Layer具有良好的通用性，可以作为插件模块替换任意模型中的基础构建块（如卷积层、Transformers、Mamba等），显著减少模型参数和计算复杂度，同时保持优异的分割性能，为轻量级模型的设计提供了新的思路和方法。

在临床应用方面，UltraLight VM-UNet具有广泛的适用性和巨大的潜力。该模型不仅适用于皮肤病变分割任务，还在其他非皮肤病变分割任务（如口腔溃疡和脾脏分割）中展现出卓越的性能，充分证明了其在多样化医学图像场景中的广泛适用性。此外，得益于其高效的计算性能和极低的资源需求，UltraLight VM-UNet非常适合在远程医疗场景中应用。它能够通过移动设备或便携式医疗设备为患者提供即时的诊断建议，从而促进医疗资源的合理分配与高效利用，助力解决边远地区资源匮乏问题。在需要实时监测病变变化的场景中，如皮肤病变的治疗效果评估，UltraLight VM-UNet能够快速提供高精度的分割结果。这种能力为临床医生提供及时、准确的反馈，助力优化治疗方案，改善患者预后。

3.总结和展望

在本工作中，该研究团队不仅提出一个轻量化的模型，还对最新的基础构建块Mamba在医疗场景中的轻量级应用进行了深入探讨。该算法在显著降低参数量和计算复杂度的同时，依然保持了高精度的分割性能，展现出良好的临床应用前景。随着该技术的进一步发展和推广，有望为医学图像分割领域带来新的变革，推动医疗技术的进步，为患者提供更高效、更准确的医疗服务。

作者专访

Cell Press细胞出版社特别邀请论文作者常庆研究员和宁国琛助理教授进行了专访，为大家进一步详细解读。

CellPress：

请简要概述这项工作的亮点。

常庆研究员：

本研究提出了一种超轻量医学图像分割算法UltraLight VM-UNet，该算法在保持高精度分割性能的同时，显著降低了模型的参数量和计算复杂度，该算法仅拥有0.049M参数和0.060 GFLOPs的计算复杂度，相较于传统模型大幅降低了参数量和计算复杂度，同时在皮肤病变数据集、口腔溃疡和脾脏分割上展现出优异的分割性能。其提出的即插即用的并行视觉Mamba层（PVM Layer）设计，通过并行处理显著减少参数量，且具有良好的通用性，可广泛应用于多种医学图像分割场景。此外，该算法在资源受限的移动医疗设备上表现出色，具有快速推理速度和低内存占用，展现了巨大的临床应用潜力，可有效提高病变诊断效率，展现了良好的临床推广前景。

CellPress：

研究过程中遇到了哪些困难？团队是如何克服并顺利解决的？

常庆研究员：

在研究过程中，如何在降低参数量和计算复杂度的同时保持高精度分割性能，以及如何确保模型在资源受限的移动医疗设备上高效运行。我们深入分析了Mamba的参数影响因素，发现通道数的降低对参数量有爆炸性影响，但同时仍能够保证较好的分割性能。然而，随着降低参数量和计算复杂度的同时，模型对不同尺度的病灶识别能力也会随之降低。为了确保模型在降低参数量和计算复杂度的同时，仍然能够有效识别不同尺度的病灶，我们为模型引入了多尺度特征融合机制。这些措施使UltraLight VM-UNet在保持高精度分割性能的同时，显著降低了资源需求。

CellPress：

团队下一步的研究计划是怎样的？

宁国琛助理教授：

未来，我们团队将聚焦于模型优化与性能提升，同时探索多任务学习和自适应学习机制，增强模型的综合诊断能力。团队还将拓展模型的跨模态和多模态应用，进行多中心临床验证，基于UltraLight VM-UNet以及算法模块开发相应临床应用工具，并根据用户反馈进行迭代优化。团队未来将致力于算法创新与临床场景结合，探索新型算法和模型架构，并开发相关的便携轻量式临床产品。此外，团队将继续与临床医生紧密合作，确保研究成果能够有效转化为实际的临床解决方案。

CellPress：

最后，是否可以与我们分享一下选择Patterns来发表这个工作的原因？

常庆研究员：

Patterns作为Cell Press旗下专注于发表理论和实践的开创性数据科学研究的国际顶级期刊，学术影响力强，受众广泛，包括计算机科学家、临床医学和生命科学等多个领域。本研究由临床团队和工程团队联合开展，通过并行视觉Mamba层（PVM Layer）显著降低了参数量和计算复杂度，开发一种超轻量级的医学图像分割模型，解决临床移动端应用人工智能技术的不足。选择在Patterns发表，旨在将这一创新成果展示给更广泛的跨学科受众，促进不同领域间的交流与合作，推动医学图像智能分割技术的临床推广。

上海交大瑞金医院常庆/清华大学宁国琛团队Patterns：开发超轻量医学图像分割算法以提高临床应用效率

评论