VISTA3D: Versatile Imaging SegmenTation and Annotation model for 3D Computed Tomography

分割基础模型已经引起了广泛的关注，但是它们中没有一个足够适用于3D计算机断层扫描（CT）图像的用例。现有的研究在自然图像上训练2D基础模型后，对医学图像进行微调，但交互式分割，特别是在2D中，对于3D扫描来说太耗时，并且对大型队列分析不太有用。更理想的是，能够执行开箱即用的自动分割模型。然而，以这种方式训练的模型缺乏在未见过的对象上执行分割的能力，如新型肿瘤。因此，对于3D医学图像分析，理想的分割解决方案可能需要两个特征：准确的开箱即用性能，覆盖主要器官类别，以及对新结构的有效适应或零样本能力。在本文中，我们讨论了3D CT分割基础模型应具备的特征，并介绍了VISTA3D，万能成像分割和注释模型。该模型系统地训练了11454个体积，涵盖了127种人类解剖结构和各种病变，并提供了准确的开箱即用分割。该模型的设计还实现了3D零样本交互分割的最新技术。这种新颖的模型设计和训练配方代表了发展多功能医学图像基础模型的有希望的一步。代码和模型权重将很快发布。在线演示的早期版本可以在https://build.nvidia.com/nvidia/vista-3d上尝试。

本论文旨在解决3D计算机断层扫描（CT）图像中的分割问题，提出了一种新的3D CT分割基础模型，旨在提高自动分割的准确性和适应性。

VISTA3D模型是一种系统地训练的模型，覆盖了127种人体解剖结构和各种病变，具有精确的开箱即用分割性能和零样本交互分割能力。这种新型的模型设计和训练方法代表了开发多功能医学图像基础模型的有希望的一步。

论文使用11454个体积的数据集进行模型训练，提出了一种新的3D CT分割基础模型VISTA3D，具有精确的开箱即用分割性能和零样本交互分割能力。论文的代码和模型权重将很快发布，早期版本的在线演示可以在https://build.nvidia.com/nvidia/vista-3d上尝试。

最近的相关研究包括使用2D基础模型对医学图像进行微调的工作，以及探索零样本学习的工作。例如，标题为“Zero-Shot Learning for Medical Image Segmentation with Data Augmentation”的论文。