Generative Medical Segmentation

2024年03月27日
  • 简介
    医学图像分割性能的快速提高主要得益于卷积神经网络(CNN)和视觉Transformer(ViTs)的发展。然而,这些模型引入了高计算需求,并且通常在不同的医学成像数据集上具有有限的泛化能力。在本文中,我们介绍了一种新颖的方法——生成式医学分割(GMS),它利用生成模型进行图像分割。具体而言,GMS采用一个强大的预训练变分自编码器(VAE)来获取图像和掩模的潜在表示,然后使用一个映射模型在潜在空间中学习从图像到掩模的转换。这个过程通过使用预训练的VAE解码器在图像空间内生成精确的分割掩模来实现。GMS的设计导致模型中可学习参数较少,从而减少了计算负担并增强了泛化能力。我们在不同医学成像领域的五个公共数据集上进行了广泛的实验分析,结果表明GMS优于现有的判别式分割模型,并具有显著的领域泛化能力。我们的实验表明,GMS可能会为医学图像分割设立新的基准,提供一种可扩展和有效的解决方案。GMS的实现和模型权重可在https://github.com/King-HAW/GMS上获得。
  • 作者讲解
  • 图表
  • 解决问题
    本文旨在提出一种新的方法——Generative Medical Segmentation (GMS),通过引入生成模型来解决医学图像分割中的问题,包括高计算成本和对不同数据集的泛化能力不足。
  • 关键思路
    GMS使用预训练的变分自编码器(VAE)来得到图像和掩模的潜在表示,然后使用一个映射模型在潜在空间中学习从图像到掩模的转换。最终,使用预训练的VAE解码器在图像空间中生成精确的分割掩模。GMS的设计导致模型中的可学习参数更少,从而减少了计算负担并增强了泛化能力。
  • 其它亮点
    本文在五个不同的医学图像数据集上进行了广泛的实验分析,证明了GMS优于现有的判别式分割模型,并具有显着的域泛化能力。本文提出的方法可以成为医学图像分割的新基准,提供可扩展和有效的解决方案。GMS的实现和模型权重可在https://github.com/King-HAW/GMS上获得。
  • 相关研究
    最近在医学图像分割领域中的相关研究包括:1. 'U-Net: Convolutional Networks for Biomedical Image Segmentation';2. 'V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation';3. 'Attention U-Net: Learning Where to Look for the Pancreas'。
许愿开讲
PDF
原文
点赞 收藏
向作者提问
NEW
分享到Link

提问交流

提交问题,平台邀请作者,轻松获得权威解答~

向作者提问