On the Concept Trustworthiness in Concept Bottleneck Models

Concept Bottleneck Models（CBMs）将推理过程分解为从输入到概念映射和从概念到标签预测两个部分，由于可解释的概念瓶颈而获得了显著的关注。然而，尽管概念到标签预测的透明度很高，但从输入到中间概念的映射仍然是一个黑盒子，这引发了对所学概念可信度的担忧（即这些概念可能基于虚假线索预测）。概念不可信度的问题极大地阻碍了CBMs的可解释性，从而阻碍了它们的进一步发展。为了对这个问题进行全面的分析，在本研究中，我们建立了一个基准来评估CBMs中概念的可信度。提出了一个开创性的指标，称为概念可信度分数，用于衡量概念是否来自相关区域。此外，引入了一个增强的CBM，使概念预测可以特别从特征图的不同部分进行，从而便于探索它们的相关区域。此外，我们还引入了三个模块，分别是跨层对齐（CLA）模块、跨图像对齐（CIA）模块和预测对齐（PA）模块，以进一步增强CBM中的概念可信度。在十个架构的五个数据集上的实验表明，我们的模型在不使用任何概念定位注释的情况下，显著提高了概念的可信度，同时实现了优于现有技术的准确性。我们的代码可在https://github.com/hqhQAQ/ProtoCBM找到。

解决CBMs中概念不可信的问题，提高模型的可解释性。

通过提出概念可信度评分和增强CBM模型的方法来解决CBMs中概念不可信的问题。

提出了概念可信度评分来评估CBMs中的概念是否可信，并提出增强CBM模型的方法来提高概念的可信度。实验结果表明，该方法在不使用任何概念定位注释的情况下，大幅提高了概念的可信度，同时在准确率方面优于现有技术。代码已开源。

该领域的相关研究包括：《Learning Interpretable Concept-Based Representations for Visual Question Answering》、《Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)》等。