Aligning Human Knowledge with Visual Concepts Towards Explainable Medical Image Classification

尽管可解释性在临床诊断中至关重要，但大多数深度学习模型仍然像黑匣子一样工作，没有阐明它们的决策过程。在本研究中，我们探讨了一种可解释的模型开发方法，通过融合明确的诊断标准领域知识，模拟人类专家的决策过程。我们提出了一个简单而有效的框架Explicd，用于基于语言信息和标准的可解释诊断。Explicd通过从大型语言模型（LLMs）或人类专家查询领域知识来建立各种概念轴（例如颜色、形状、纹理或特定疾病模式）上的诊断标准。通过利用预训练的视觉语言模型，Explicd将这些标准注入嵌入空间作为知识锚点，从而促进医学图像中相应视觉概念的学习。最终的诊断结果是基于编码的视觉概念和文本标准嵌入之间的相似度得分来确定的。通过对五个医学图像分类基准的广泛评估，Explicd展示了其内在的可解释性，并扩展了与传统黑匣子模型相比的分类性能。

解释性模型在医学图像诊断中的应用问题

利用预训练的视觉-语言模型，将诊断标准嵌入到图像嵌入空间中，通过编码视觉概念和文本标准来确定最终的诊断结果

论文提出了一个名为Explicd的框架，旨在实现可解释的语言诊断，通过嵌入诊断标准来提高分类性能，与传统的黑匣子模型相比，具有更好的可解释性和分类性能

最近的相关研究包括使用对抗性训练来提高医学图像分类的鲁棒性，以及使用深度学习模型来实现医学图像分割和诊断