A foundation model utilizing chest CT volumes and radiology reports for supervised-level zero-shot detection of abnormalities

在3D医学成像的计算研究中，一个主要的挑战是缺乏全面的数据集。为了解决这个问题，我们的研究引入了CT-RATE，这是第一个将图像与文本报告配对的3D医学成像数据集。CT-RATE包括25,692个非对比剂胸部CT体积，通过各种重建扩展到50,188个，来自21,304个独特的患者，以及相应的放射学文本报告。利用CT-RATE，我们开发了CT-CLIP，这是一个以CT为重点的对比语言-图像预训练框架。作为一种多才多艺的自监督模型，CT-CLIP旨在广泛应用，不需要特定任务的训练。值得注意的是，CT-CLIP在所有关键指标上都优于最先进的全监督方法，从而消除了手动注释的需要，因此在多异常检测方面表现出色。我们还展示了它在案例检索中的实用性，无论是使用图像还是文本查询，从而推动了知识传播。CT-RATE和CT-CLIP的开源发布标志着医疗AI方面的重大进步，增强了3D成像分析，促进了医疗创新。

解决问题：论文试图解决缺乏全面数据集的问题，提出了CT-RATE数据集，并使用该数据集开发了CT-CLIP模型，用于医学影像分析和知识传播。

关键思路：使用CT-RATE数据集，开发了一种自监督学习模型CT-CLIP，用于多异常检测和病例检索。该模型不需要任务特定的训练，可以广泛应用于医学影像分析。

其他亮点：CT-RATE数据集包含了25292个非对比度胸部CT体积和对应的放射学文本报告。CT-CLIP模型在多异常检测方面表现出色，甚至优于完全监督方法。此外，该模型还可以用于病例检索，无论是使用图像还是文本查询。CT-RATE数据集和CT-CLIP模型的开源发布是医学人工智能领域的重大进展，有助于促进医疗创新。

相关研究：最近的相关研究包括使用深度学习进行医学影像分析，以及使用自监督学习进行图像和文本匹配。其中一些论文包括：“Deep Learning in Medical Image Analysis”和“Unsupervised Learning for Physical Interaction through Video Prediction”。