Towards Symbolic XAI -- Explanation Through Human Understandable Logical Relationships Between Features

Thomas Schnake ,
Farnoush Rezaei Jafaria ,
Jonas Lederer ,
Ping Xiong ,
Shinichi Nakajima ,
Stefan Gugler ,
Grégoire Montavon ,
Klaus-Robert Müller
236
热度
2024年08月30日
  • 简介
    可解释人工智能(XAI)在促进AI系统的透明度和信任方面起着至关重要的作用。传统的XAI方法通常提供一种抽象级别的解释,通常以突出显示单个或多个输入特征的热图形式呈现。然而,我们问是否模型的抽象推理或问题解决策略也可能是相关的,因为这些更符合人类解决问题的方式。我们提出了一个框架,称为符号XAI,它将相关性归因于表示输入特征之间逻辑关系的符号查询,从而捕捉模型预测背后的抽象推理。该方法建立在一种简单但通用的模型预测多阶分解基础上。这种分解可以使用高阶传播型相关性方法(如GNN-LRP)或常用于XAI的扰动解释方法来指定。我们的框架的有效性在自然语言处理(NLP)、视觉和量子化学(QC)领域得到了证明,其中抽象的符号领域知识丰富且对用户非常有意义。符号XAI框架提供了一种对模型决策过程的理解,既可以由用户自定义,又可以通过逻辑公式进行人类可读性的呈现。
  • 图表
  • 解决问题
    本论文旨在提出一种名为Symbolic XAI的框架,通过表达输入特征之间的逻辑关系,以捕捉模型预测背后的抽象推理,从而促进可解释的人工智能(XAI)的透明度和信任度。该框架在自然语言处理(NLP)、视觉和量子化学(QC)领域得到了验证。
  • 关键思路
    Symbolic XAI框架通过多阶分解模型预测,使用高阶传播相关方法或常用的扰动解释方法来指定分解,以表达符号查询之间的逻辑关系,从而提供灵活的用户定制和人类可读的逻辑公式,进一步提高XAI的可解释性。
  • 其它亮点
    该框架在三个领域进行了实验验证,展示了其有效性。论文还提供了开源代码和数据集。值得关注的是,该框架不仅提供了单个或多个输入特征的热图解释,还提供了符号查询的解释,更贴近人类的推理方式。
  • 相关研究
    最近在XAI领域,还有一些相关的研究,例如《Interpretable Machine Learning: A Guide for Making Black Box Models Explainable》、《Explainable Artificial Intelligence (XAI)》等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论