Medical Visual Prompting (MVP): A Unified Framework for Versatile and High-Quality Medical Image Segmentation

准确分割病变区域对于各种疾病的临床诊断和治疗至关重要。虽然深度卷积网络在医学图像分割方面取得了令人满意的结果，但由于连续卷积和下采样导致的病变形状信息丢失以及手动标记不同形状和大小的病变的高成本等问题仍然存在挑战。为了解决这些问题，我们提出了一种新的医学视觉提示（MVP）框架，该框架利用自然语言处理（NLP）中的预训练和提示概念。该框架利用三个关键组件：超像素引导提示（SPGP）用于将输入图像分割成超像素，图像嵌入引导提示（IEGP）用于冻结补丁嵌入并与超像素合并以提供视觉提示，以及自适应注意机制引导提示（AAGP）用于确定提示内容并高效地适应所有层。通过集成SPGP、IEGP和AAGP，MVP使分割网络更好地学习形状提示信息，并促进不同任务之间的相互学习。在五个数据集上进行的大量实验表明，该方法在各种具有挑战性的医学图像任务中表现出优越的性能，同时简化了单任务医学分割模型。这种新颖的框架具有更少的参数和更好的性能，并具有在各种医学任务中准确分割病变区域的重要潜力，具有临床价值。

本论文旨在解决医学图像分割中深度卷积网络存在的问题，如连续卷积和下采样导致的损失病变形状信息以及手动标记不同形状和大小的病变的高成本。

本论文提出了一种新的医学视觉提示（MVP）框架，利用自然语言处理（NLP）中的预训练和提示概念，通过超像素引导提示（SPGP）、图像嵌入引导提示（IEGP）和自适应注意力机制引导提示（AAGP）三个关键组件，使分割网络更好地学习形状提示信息，促进不同任务之间的相互学习。

本论文在五个数据集上进行了广泛的实验，证明了该方法在各种具有挑战性的医学图像任务中具有优越的性能，同时简化了单任务医学分割模型。该框架具有更少的参数和更好的性能，对于各种医学任务中的病变区域的准确分割具有重要的临床价值。

近期在这个领域中，还有一些相关的研究，如《U-Net++: A Nested U-Net Architecture for Medical Image Segmentation》、《A Survey on Deep Learning Techniques for Brain Tumor Segmentation》等。