Envisioning MedCLIP: A Deep Dive into Explainability for Medical Vision-Language Models

随着每天涌现出的多模态模型，特别是在像医学成像这样的安全关键领域，解释深度学习模型变得越来越重要。然而，缺乏对这些模型的可解释性方法性能的详细研究，正在扩大其开发和安全部署之间的差距。在这项工作中，我们分析了各种可解释的人工智能方法在视觉语言模型MedCLIP上的表现，以揭示其内部运作方式。我们还提供了一种简单的方法来克服这些方法的缺点。我们的工作为医学领域中一个最近著名的视觉语言模型的可解释性提供了一个不同的新视角，而我们的评估方法可以推广到其他当前和可能的未来的视觉语言模型。

论文旨在分析各种可解释的AI方法在医学图像领域中的表现，以揭示MedCLIP模型的内部工作机制。

通过分析各种可解释的AI方法的表现，论文提出了一种简单的方法来克服这些方法的缺点。

论文分析了一个最近在医学领域中广为人知的VLM模型MedCLIP的可解释性表现，并提供了一种简单的评估方法，该方法可推广到其他当前和可能的未来VLMs。实验使用了哪些数据集，有哪些值得深入研究的工作。

最近在这个领域中的相关研究包括使用AI进行医学图像分析的其他方法，例如基于深度学习的图像分类和分割。