Common and Rare Fundus Diseases Identification Using Vision-Language Foundation Model with Knowledge of Over 400 Diseases

之前的视网膜图像基础模型只是针对有限的疾病类别和知识库进行预训练。在这里，我们介绍了RetiZero，这是一个视觉语言基础模型，利用了来自400多种眼底疾病的知识。为了对RetiZero进行预训练，我们收集了341,896个眼底图像和文本描述，这些数据来源于公共数据集、眼科文献和在线资源，涵盖了多种族、多个国家的不同疾病。RetiZero在多个下游任务中表现出优异的性能，包括零样本疾病识别、图像检索、内部和跨领域疾病识别。在零样本场景中，RetiZero对于15种眼底疾病和52种眼底疾病的Top5准确度分别为0.8430和0.7561。对于图像检索，它分别在相同疾病集上实现了0.9500和0.8860的Top5分数。临床评估显示，RetiZero的Top3零样本性能超过了来自新加坡、中国和美国的19名眼科医生的平均水平。此外，RetiZero显著提高了临床医生诊断眼底疾病的准确性。这些发现突显了将RetiZero基础模型整合到临床设置中的价值，因为在这里会遇到各种眼底疾病。

本论文旨在开发一种基于视觉语言的基础模型RetiZero，以解决基于视网膜图像的疾病识别问题。该模型能够利用超过400种视网膜疾病的知识进行预训练，提高疾病识别的准确性。

RetiZero是一种基于视觉语言的基础模型，它利用超过341,896个视网膜图像和文本描述进行预训练，能够在多个下游任务中展现出卓越的性能，包括零样本疾病识别、图像检索以及跨领域疾病识别。RetiZero的性能超越了19名眼科医生的平均水平，可用于提高医生的疾病诊断准确性。

该论文使用了超过341,896个视网膜图像和文本描述进行预训练，展现出卓越的性能。RetiZero的Top3零样本性能超越了19名眼科医生的平均水平。实验结果表明，RetiZero模型能够显著提高医生的疾病诊断准确性。该论文的工作值得进一步深入研究。

最近在这个领域中，还有一些相关的研究，如《A Survey on Deep Learning in Medical Image Analysis》、《Deep Learning for Medical Image Analysis: A Review》等。