Towards Symbolic XAI -- Explanation Through Human Understandable Logical Relationships Between Features

可解释人工智能（XAI）在促进AI系统的透明度和信任方面起着至关重要的作用。传统的XAI方法通常提供一种抽象级别的解释，通常以突出显示单个或多个输入特征的热图形式呈现。然而，我们问是否模型的抽象推理或问题解决策略也可能是相关的，因为这些更符合人类解决问题的方式。我们提出了一个框架，称为符号XAI，它将相关性归因于表示输入特征之间逻辑关系的符号查询，从而捕捉模型预测背后的抽象推理。该方法建立在一种简单但通用的模型预测多阶分解基础上。这种分解可以使用高阶传播型相关性方法（如GNN-LRP）或常用于XAI的扰动解释方法来指定。我们的框架的有效性在自然语言处理（NLP）、视觉和量子化学（QC）领域得到了证明，其中抽象的符号领域知识丰富且对用户非常有意义。符号XAI框架提供了一种对模型决策过程的理解，既可以由用户自定义，又可以通过逻辑公式进行人类可读性的呈现。

本论文旨在提出一种名为Symbolic XAI的框架，通过表达输入特征之间的逻辑关系，以捕捉模型预测背后的抽象推理，从而促进可解释的人工智能（XAI）的透明度和信任度。该框架在自然语言处理（NLP）、视觉和量子化学（QC）领域得到了验证。

Symbolic XAI框架通过多阶分解模型预测，使用高阶传播相关方法或常用的扰动解释方法来指定分解，以表达符号查询之间的逻辑关系，从而提供灵活的用户定制和人类可读的逻辑公式，进一步提高XAI的可解释性。

该框架在三个领域进行了实验验证，展示了其有效性。论文还提供了开源代码和数据集。值得关注的是，该框架不仅提供了单个或多个输入特征的热图解释，还提供了符号查询的解释，更贴近人类的推理方式。

最近在XAI领域，还有一些相关的研究，例如《Interpretable Machine Learning: A Guide for Making Black Box Models Explainable》、《Explainable Artificial Intelligence (XAI)》等。