Improving Medical Multi-modal Contrastive Learning with Expert Annotations

我们介绍了eCLIP，这是CLIP模型的增强版本，它集成了放射科医师注释的眼睛注视热图。它解决了对比多模态医学影像分析中的关键挑战，特别是数据稀缺和“模态差距”——图像和文本嵌入之间的显著差异，这降低了表示的质量并妨碍了跨模态的互操作性。eCLIP集成了热图处理器，并利用mixup增强来有效利用稀缺的专家注释，从而提高了模型的学习效果。eCLIP旨在普遍适用于CLIP的任何变体，而无需修改核心架构。通过对多项任务进行详细评估，包括零-shot推断、线性探测、跨模态检索和使用冻结的大型语言模型进行检索增强生成（RAG）放射学报告，eCLIP展示了嵌入质量的持续改进。结果显示出增强的对齐和一致性，证实了eCLIP利用高质量注释进行医学影像领域的丰富多模态分析的能力。

本文旨在解决医学影像分析中的数据稀缺和模态差异问题，通过引入专家注释的眼底热图，提高了CLIP模型的表征质量和跨模态互操作性。

本文提出了一种增强版的CLIP模型——eCLIP，它通过热图处理器和mixup数据增强技术，高效利用了专家注释，提高了模型的学习效果。eCLIP可以适用于任何CLIP变体，无需修改核心架构。

本文通过多项实验验证了eCLIP的表征质量和跨模态互操作性的提升，并展示了其在零样本推理、线性探测、跨模态检索和检索增强生成等任务中的应用。本文使用了多个数据集进行实验，并提供了开源代码。

近期相关研究包括CLIP模型的原始论文《Learning Transferable Visual Models From Natural Language Supervision》以及医学影像分析中的其他跨模态学习研究，如《Cross-Modal Medical Image Analysis: Challenges, Opportunities, and Potential Solutions》。