Advancing human-centric AI for robust X-ray analysis through holistic self-supervised learning

Théo Moutakanni,
Piotr Bojanowski,
Guillaume Chassagnon,
Céline Hudelot,
Armand Joulin,
Yann LeCun,
Matthew Muckley,
Maxime Oquab,
Marie-Pierre Revel,
Maria Vakalopoulou
284
热度
CV
AI
2024年05月02日
  • 简介
    AI Foundation的模型在各种应用中都越来越受到关注,包括放射学等医疗领域。然而,医学基础模型通常只在有限的任务上进行测试,其泛化能力和偏见未被探索。我们提出了RayDINO,这是一个基于自监督训练的大型视觉编码器,使用873k个胸部X光进行训练。我们将RayDINO与先前的最先进模型进行了比较,涵盖了九个放射学任务,包括分类、密集分割和文本生成,并对我们的模型的人口、年龄和性别偏见进行了深入分析。我们的发现表明,自监督使得以患者为中心的AI在临床工作流程中变得有用,并全面解释X光。通过RayDINO和小型任务特定适配器,我们实现了最先进的结果,并提高了对未见过人群的泛化能力,同时减轻了偏见,展示了基础模型的真正优势:多功能性和鲁棒性。
  • 图表
  • 解决问题
    本文旨在通过自监督训练,建立一个大型视觉编码器 RayDINO,用于九项放射学任务的比较,并分析其在人口、年龄和性别方面的偏差。
  • 关键思路
    通过自监督训练建立 RayDINO 视觉编码器,用于放射学任务,并通过小型任务特定适配器改进泛化能力并减少偏差。
  • 其它亮点
    使用自监督训练建立的 RayDINO 视觉编码器在放射学任务中表现出色,通过小型任务特定适配器改进了泛化能力并减少了偏差。
  • 相关研究
    最近的相关研究包括使用深度学习进行放射学图像分析和自监督学习的应用。相关论文包括“Deep Learning in Radiology: A State-of-the-Art Review”和“Self-supervised Learning: Generative or Contrastive”等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论