Conceptual Learning via Embedding Approximations for Reinforcing Interpretability and Transparency

本研究提出了一个名为CLEAR的框架，用于构建图像分类的概念瓶颈模型（CBM）。CBM已成为解释性至关重要的领域中的关键工具，这些模型依赖于预定义的文本描述，称为概念，来指导其决策过程并提供更准确的推理。因此，模型中使用的概念的选择至关重要。本研究使用分数匹配和Langevin采样来逼近视觉语言模型（VLM）的潜在空间中概念的嵌入，通过学习与图像和概念的联合分布相关联的分数。然后采用概念选择过程来优化学习到的嵌入和预定义嵌入之间的相似性。所得到的瓶颈模型提供了对CBM决策过程的深入解析，从而实现更全面的解释。我们的方法通过大量实验进行了评估，并在各种基准测试中实现了最先进的性能。我们实验的代码可在https://github.com/clearProject/CLEAR/tree/main中获得。

论文提出了一个名为CLEAR的框架，旨在构建概念瓶颈模型（CBM）以提高其解释性和透明度。该模型的关键问题是如何选择用于模型决策过程的概念。

论文提出了一种基于得分匹配和Langevin采样的方法，通过学习与图像和概念的联合分布相关的得分来近似表示概念在视觉-语言模型（VLM）的潜在空间中的嵌入。然后使用概念选择过程来优化学习嵌入和预定义嵌入之间的相似性。

论文通过实验验证了CLEAR框架的有效性，并在各种基准测试中取得了最先进的性能。论文提供了开源代码，可以在https://github.com/clearProject/CLEAR/tree/main上找到。

最近的相关研究包括基于概念的图像分类和解释，以及使用深度学习技术构建概念瓶颈模型的方法。其中一些相关论文包括："Towards Conceptual Compression"，"Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)"等。