ROCOv2: Radiology Objects in COntext Version 2, an Updated Multimodal Image Dataset

自动化医学图像分析系统通常需要大量高质量标注的训练数据，这些数据难以生成且耗时。本文介绍了Radiology Object in COntext version 2（ROCOv2）数据集，它是一个多模态数据集，包括从PMC Open Access子集中提取的放射学图像和相关的医学概念和标题。它是2018年发布的ROCO数据集的更新版本，新增了35705张自2018年以来添加到PMC的新图像。它还为X射线提供了手动策划的成像模态和额外的解剖和方向概念。该数据集包含79789张图像，并已被用于ImageCLEFmedical Caption 2023的概念检测和标题预测任务中，仅进行了轻微修改。该数据集适用于基于图像-标题对的图像注释模型的训练，或者使用每个图像提供的统一医学语言系统（UMLS）概念进行多标签图像分类。此外，它可以用于医学领域模型的预训练和多任务学习的深度学习模型的评估。

论文旨在解决医学图像分析系统需要大量高质量标签数据的问题，提出了一个多模态数据集 ROCOv2，包含医学影像、相关医学概念和标题，可用于训练图像注释模型或多标签图像分类。

ROCOv2数据集提供了手动筛选的医学概念和标题，包括X光的解剖和方向概念，可用于训练基于图像-标题对的图像注释模型或使用每个图像提供的统一医学语言系统（UMLS）概念进行多标签图像分类。此外，数据集还可用于医学领域模型的预训练和多任务学习的深度学习模型的评估。

数据集包含79,789张医学影像，其中35,705张为自2018年以来新增。数据集已在ImageCLEFmedical Caption 2023的概念检测和标题预测任务中使用，实验表明ROCOv2数据集在训练图像注释模型和多标签图像分类方面具有良好的效果。数据集已开源。

在医学图像分析领域，近年来的相关研究包括：1.《A Survey on Deep Learning in Medical Image Analysis》；2.《Medical image analysis using convolutional neural networks: A review》；3.《Deep learning for medical image analysis: A review》。