RadGenome-Chest CT: A Grounded Vision-Language Dataset for Chest CT Analysis

近期，AI医学领域的研究人员对于开发通用基础模型引起了极大的关注。在开发这些模型时，一个关键的洞见是它们依赖于数据集的规模，这强调了开发包含各种成像模式下不同监督信号的开源医学图像数据集的要求。本文介绍了RadGenome-Chest CT，这是一个基于CT-RATE的全面、大规模、区域引导的三维胸部CT解释数据集。具体来说，我们利用最新的强大的通用分割和大型语言模型，从以下几个方面扩展了原始数据集（超过25,692个非对比剂的三维胸部CT体积和来自20,000个患者的报告）：（i）覆盖197个类别的器官级分割掩模，为解释提供中间推理的视觉线索；（ii）665 K多粒度基础报告，其中报告的每个句子都以分割掩模的形式链接到CT体积的相应解剖区域；（iii）1.3M基础VQA对，其中问题和答案均与参考分割掩模相关联，使模型能够将视觉证据与文本解释相关联。验证集中的所有基础报告和VQA对都经过手动验证，以确保数据集的质量。我们相信，RadGenome-Chest CT可以通过训练根据给定的分割区域生成文本来显着推进多模态医学基础模型的发展，这是以前相关数据集无法达到的。我们将发布所有分割掩模、基础报告和VQA对，以促进该领域的进一步研究和发展。

RadGenome-Chest CT试图解决的问题是开发通用的基础模型，需要大规模的医学图像数据集来支持多样化的监督信号。

RadGenome-Chest CT的关键思路是基于CT-RATE构建一个大规模的、以区域为导向的三维胸部CT解释数据集，包括197个类别的器官级分割掩模、665K个多粒度的基于区域的报告和1.3M个基于区域的VQA对。

该数据集的报告和VQA对都经过了手动验证以确保数据集的质量。论文将释放所有分割掩模、基于区域的报告和VQA对以促进该领域的进一步研究和发展。该数据集的亮点包括：多样化的监督信号、区域级别的信息、基于区域的报告和VQA对等。

最近在这个领域中，还有一些相关研究，如：MIMIC-CXR、NIH Chest X-ray14、ChestX-ray14等。