A survey on Concept-based Approaches For Model Improvement

最近的研究重点已经从仅仅提高深度神经网络（DNN）在各种任务中的表现，转向了更具可解释性的DNN，这对人类更具有可读性。可解释人工智能（XAI）领域已经观察到了各种技术，包括基于显著性和基于概念的方法。基于概念的方法用简单的人类可理解的术语来解释模型的决策。概念是人类可理解的数据单元，是人类思考的基础。基于概念的解释使得可以检测到虚假的相关性、固有的偏见或聪明的汉斯。随着基于概念的解释的出现，出现了各种概念表示方法和自动概念发现算法。一些最近的方法使用概念进行后期模型分离评估，而其他方法则用于前期培训。基于概念的方法是新的，有许多表示方法出现，对于基于概念的模型改进的研究非常有限。我们提供了一种系统性的审查和分类法，详细介绍了DNN中各种概念表示及其发现算法，特别是在视觉领域。我们还提供了基于概念的模型改进文献的详细信息，这是第一个调查基于概念的模型改进方法的文献。

本论文旨在提出一种基于概念的解释人工智能模型决策的方法，以便使人们更容易理解模型的决策过程和避免模型中的偏见和错误。

本论文提出了一种基于概念的方法来解释深度神经网络的决策过程，将模型中的决策解释为人类可以理解的概念，以便更好地理解模型的决策过程。

论文提供了对基于概念的方法在深度神经网络中的应用进行系统回顾和分类的研究，重点介绍了基于图像的深度学习模型中的概念表示和发现算法，并探讨了基于概念的模型改进方法。实验使用了多个图像数据集进行验证，包括CIFAR-10、ImageNet和PASCAL VOC等，同时提供了开源代码。

近年来，XAI领域的研究越来越受到关注，涉及到的相关研究包括：“Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors”、“Visualizing and Understanding Convolutional Networks”、“Dissecting Neural Networks for Better Interpretability and Modularization”等。