CLIP-DR: Textual Knowledge-Guided Diabetic Retinopathy Grading with Ranking-aware Prompting

糖尿病视网膜病变（DR）是糖尿病的并发症，通常需要数十年时间才会达到威胁视力的程度。准确和稳健地检测DR的严重程度对于及时管理和治疗糖尿病至关重要。然而，大多数当前的DR分级方法在应对数据变异性（例如彩色底片图像）方面缺乏稳健性，这给准确和稳健的分级带来了重大困难。在这项工作中，我们提出了一种基于三个观察结果的新型DR分级框架CLIP-DR：1）最近预训练的视觉语言模型（如CLIP）在各种下游任务中展示出显着的泛化能力，成为有效的基准模型。2）DR图像-文本对的分级通常遵循可辨识的自然顺序，但大多数现有的DR分级方法主要忽视了这一方面。3）DR严重程度之间存在长尾分布，这使得分级过程变得复杂。本文提出了一种新的排名感知提示策略，以帮助CLIP模型利用序数信息。具体来说，我们在两个不同的排名方向上，顺序地设计可学习的提示，介于相邻的文本-图像对之间。此外，我们将相似度矩阵平滑模块引入CLIP的结构中，以平衡类别分布。最后，我们在GDRBench基准测试上与几种最先进的方法进行了广泛比较，证明了我们的CLIP-DR具有稳健性和卓越性能。实现代码可在\footnote{\url{https://github.com/Qinkaiyu/CLIP-DR}}上获得。

论文旨在解决糖尿病视网膜病变（DR）的诊断问题，当前DR分级方法存在数据变异性不足、忽略图像-文本对的自然序列以及长尾分布等问题。

论文提出了一种基于CLIP模型的DR分级框架CLIP-DR，通过可学习的提示策略和相似矩阵平滑模块，帮助CLIP模型利用序列信息和平衡类别分布。

论文使用了GDRBench数据集进行实验，并与多个最先进的方法进行了比较，证明了CLIP-DR的鲁棒性和优异性能。代码已开源。

近期的相关研究包括：《Towards Accurate Diabetic Retinopathy Detection in Fundus Images》、《Diabetic Retinopathy Detection Using Convolutional Neural Network: Transfer Learning Analysis》等。