VISION-MAE: A Foundation Model for Medical Image Segmentation and Classification

人工智能（AI）有潜力彻底改变医学影像诊断和分割。然而，开发和临床实施面临多重挑战，包括有限的数据可用性、缺乏通用性以及有效整合多模态数据的必要性。基础模型是一种大规模预训练的AI模型，提供了一个多功能的基础，可以适应各种特定任务和上下文。在这里，我们介绍了一种专门为医学影像设计的新型基础模型VISION-MAE。具体而言，VISION-MAE使用自监督学习技术，在包括CT、MR、PET、X射线和超声在内的各种模态的2.5百万个未标记图像数据集上进行训练。然后使用明确的标签将其适应于分类和分割任务。VISION-MAE具有高标签效率，在域内和域外应用中均优于几个基准模型，并即使在标记数据减少的情况下也能实现高性能。该模型代表了医学影像AI的重大进展，提供了一种通用且强大的解决方案，可以改善分割和分类任务，同时减轻数据注释的工作量。

本论文旨在解决医学图像诊断和分割中的数据不足、泛化性差以及多模态数据整合等问题，提出了一种基于自监督学习的医学图像通用模型 VISION-MAE。

VISION-MAE 模型通过自监督学习技术在 250 万张医学图像中进行训练，然后使用显式标签进行分类和分割任务的迁移学习，具有高标签效率和泛化性能。

实验结果表明，VISION-MAE 模型在领域内外均优于多个基准模型，即使标注数据减少也能获得高性能。该模型为医学图像 AI 的发展提供了一个通用且稳健的解决方案。

近期相关研究包括：《Multi-Modal Medical Image Segmentation Using Deep Learning》、《A Survey on Deep Learning in Medical Image Analysis》等。