【论文标题】Addressing the Discrepancy Between Radiology Report Labels and Image Labels 【作者团队】Saahil Jain, Akshay Smit, Steven QH Truong, Chanh DT Nguyen, Minh-Thanh Huynh, Mudit Jain, Victoria A. Young, Andrew Y. Ng, Matthew P. Lungren, Pranav Rajpurkar 【发表时间】2021/03/15 【机 构】斯坦福，美国 & VinBrain，越南 【论文链接】https://arxiv.org/abs/2102.11467v2

【推荐理由】本文来自吴恩达团队，医学影像多模态与生物医学预训练相结合

对于计算机视觉模型解释医疗图像而言，从放射科报告中自动提取医学条件信息至关重要。而放射科医生标注报告与放射科医生标注相应的胸部X射线图像存在显著的分歧，降低了报告标签作为图像标签替代的质量。本文开发并评估了从放射科报告中产生标签的方法，这些标签与放射科医生标注图像有更好的一致性。其中性能最好的方法，称为VisualCheXbert。该方法使用生物医学文本预训练的BERT模型直接从放射科报告映射到图像标签，图像监督信号由以从胸部X射线图像训练的计算机视觉模型所决定。VisualCheXbert的表现优于使用现有放射学报告标签器的方法，平均F1得分为0.14（95% CI 0.12，0.17）。同时VisualCheXbert与标记胸部X射线图像的放射科医生的一致性比标记相应放射科报告的放射科医生的一致性更好，在几种医疗条件下的平均F1得分在0.12（95% CI 0.09，0.15）和0.21（95% CI 0.18，0.24）之间。

内容中包含的图片若涉及版权问题，请及时与我们联系删除