- 简介Deep Neural Networks(DNNs)的有效性在很大程度上取决于可用训练数据的丰富性和准确性。然而,大规模收集和注释数据通常既昂贵又耗时,特别是在医疗案例中,从业者已经忙于他们的职责。此外,在医学领域中,确保模型在各种图像捕捉场景下保持稳健至关重要,特别是在处理基于不同设备设置和探头手动操作的超声图像时。为了解决这个挑战,我们介绍了一种新的管道,称为MEDDAP,它利用稳定扩散(SD)模型通过自动生成新的信息标记样本来增强现有的小数据集。SD的预训练检查点通常基于自然图像,由于其繁重的参数,将其用于医学图像需要大量的GPU资源。为了克服这个挑战,我们引入了USLoRA(超声低秩适应),这是一种专门针对超声应用的新型微调方法。USLoRA允许选择性微调SD内的权重,相比于仅完全微调SD的UNet部分,需要少于0.1%的参数。为了增强数据集的多样性,我们将不同的形容词纳入生成过程提示中,从而使分类器对不同图像的强度变化不敏感。这种方法受到临床医生关于乳腺肿瘤的决策过程的启发,其中肿瘤形状通常比强度更关键。总之,我们的管道不仅在原始数据集上训练的分类器表现优异,而且在遇到未见数据集时表现出卓越的性能。源代码可在https://github.com/yasamin-med/MEDDAP上获得。
- 图表
- 解决问题论文旨在解决医疗领域中数据收集和标注成本高、时间长的问题,提出了一种利用稳定扩散模型(SD)进行数据增强的方法,并针对超声波图像提出了一种低秩适应的fine-tuning方法。
- 关键思路论文提出的MEDDAP方法利用SD模型进行数据增强,通过在生成过程中加入不同的形容词来增加数据集的多样性,同时针对超声波图像的特点提出了一种低秩适应的fine-tuning方法USLoRA。
- 其它亮点论文通过实验验证了MEDDAP方法的有效性,不仅在原始数据集上表现优异,而且在处理未知数据集时也表现出色。论文还开源了代码,提供了可复现的实验环境。同时,论文的USLoRA方法也为超声波图像的数据增强提供了一种新的思路。
- 近期的相关研究包括基于GAN的数据增强方法、使用对抗性训练提高模型鲁棒性的方法等。其中,与本文较为相关的研究包括“Deep Learning for Ultrasound Imaging: A Review”和“Deep Learning for Medical Image Analysis: A Comprehensive Review”。
沙发等你来抢
去评论
评论
沙发等你来抢