CLIP in Medical Imaging: A Comprehensive Survey

Contrastive Language-Image Pre-training (CLIP)是一种简单而有效的预训练范式，成功地将文本监督引入了视觉模型。由于其具有普适性和可解释性，它在各种任务中都显示出了有前途的结果。最近，CLIP的使用在医学影像领域引起了越来越多的关注，既可以作为对齐医学视觉和语言的预训练范式，也可以作为多样化临床任务的关键组成部分。为了促进对这个有前途的方向的更深入了解，本调查在医学影像领域内对CLIP范式进行了深入探索，涉及到精细化的CLIP预训练和基于CLIP的应用。在本研究中，我们(1)从CLIP方法论的基础入手进行简要介绍。(2)然后，我们研究了CLIP预训练在医学领域的应用，重点关注如何优化CLIP，考虑到医学图像和报告的特征。(3)此外，我们探讨了CLIP预训练模型在各种任务中的实际应用，包括分类、密集预测和跨模态任务。(4)最后，我们讨论了CLIP在医学影像领域中现有的限制，并提出了前瞻性的方向，以应对医学影像领域的需求。我们希望这份综合性的调查能够为医学图像分析领域的研究人员提供对CLIP范式及其潜在影响的全面理解。项目页面可以在https://github.com/zhaozh10/Awesome-CLIP-in-Medical-Imaging找到。

本篇论文旨在探讨Contrastive Language-Image Pre-training (CLIP)在医学影像领域的应用，包括优化CLIP预训练和CLIP驱动的任务应用。

本文介绍了如何针对医学图像和报告的特征来优化CLIP预训练，并探索了CLIP预训练模型在分类、密集预测和跨模态任务等各种任务中的实际应用。

本文提供了医学影像领域中使用CLIP范式的全面探索，包括对CLIP方法论的基础介绍、CLIP预训练在医学领域中的适应性、CLIP预训练模型在各种任务中的实际应用，以及讨论现有的局限性和未来发展方向。

近期在医学影像领域中，还有一些相关的研究，如《Self-supervised Learning for Medical Image Analysis: A Survey》、《Deep Learning for Medical Image Analysis: A Comprehensive Review》等。