Explaining Chest X-ray Pathology Models using Textual Concepts

深度学习模型已经彻底改变了医学影像和诊断，但是它们的不透明性给临床采用和信任带来了挑战。在提高模型可解释性的方法中，基于概念的解释旨在提供任意分类器的简明易懂的解释。然而，这些方法通常需要大量手动收集的带有概念注释的数据，而在医疗领域这种数据通常很少。本文提出了一种基于概念反事实解释的胸部X光成像（CoCoX），利用现有的视觉-语言模型（VLM）联合嵌入空间来解释黑匣子分类器的结果，而无需注释的数据集。具体来说，我们利用从胸部放射学报告中提取的文本概念和预训练的基于胸部放射学的VLM来解释三种常见的心胸病理。我们证明了我们的方法生成的解释在语义上是有意义和忠实于潜在的病理学。

解释深度学习模型在医学图像诊断中的判断过程，提高模型可解释性和信任度。

利用已有的视觉-语言模型的联合嵌入空间和来自胸部放射学报告的文本概念，提出Conceptual Counterfactual Explanations for Chest X-ray (CoCoX)方法，解释黑匣子分类器的结果。

该方法无需手动标注数据集，使用预训练的基于胸部放射学的视觉-语言模型来解释三种常见的心胸病理学，生成的解释语义有意义且忠实于潜在的病理学。

最近的相关研究包括：1. 'Interpretable Deep Learning for Healthcare: A Survey'；2. 'Explainable Artificial Intelligence (XAI) for Medical Diagnosis and Prediction: A Survey'；3. 'Concept-Based Explanations of Convolutional Neural Networks for Medical Image Classification'。