Towards Compositional Interpretability for XAI

人工智能（AI）目前主要基于缺乏可解释性的黑匣子机器学习模型。可解释性AI（XAI）领域致力于解决这一主要问题，这在高风险领域，如金融、法律和医疗方面至关重要。我们提出了一种基于范畴论的定义AI模型及其可解释性的方法。为此，我们采用了组合模型的概念，将模型视为形式化的字符串图表，捕捉其抽象结构和具体实现。这种全面的视角包括确定性、概率和量子模型。我们将广泛的AI模型作为组合模型进行比较，包括线性和基于规则的模型、（递归）神经网络、变压器、VAEs，以及因果和DisCoCirc模型。接下来，我们给出了一个模型解释的定义，以其组合结构为基础，演示如何分析模型的可解释性，并用此来澄清XAI中的共同主题。我们发现，使标准的“本质可解释”模型如此透明的是图表上最清晰的。这引导我们提出了更一般的组合可解释（CI）模型的概念，这些模型还包括因果、概念空间和DisCoCirc模型。接下来，我们演示了CI模型的可解释性优势。首先，它们的组合结构可能允许计算其他感兴趣的量，并通过匹配其结构促进从模型到模拟现象的推理。其次，它们允许基于影响约束、图表手术和重写解释来解释其行为。最后，我们讨论了这种方法的许多未来方向，并提出了如何在实践中学习这些有意义的结构化模型的问题。

论文旨在解决黑盒机器学习模型缺乏可解释性的问题，并提出了一种基于范畴论的解释性人工智能模型的定义和解释方法。

论文采用范畴论的概念，将模型视为形式字符串图，捕捉其抽象结构和具体实现，从而定义模型的可解释性，并比较了广泛的人工智能模型，包括线性模型、神经网络、VAEs等。

论文提出了一种新的解释性人工智能模型的定义和解释方法，探讨了其可解释性的好处，如计算其他感兴趣的量、基于影响约束、图形手术和重写解释的图形解释等。论文还讨论了未来的研究方向，如如何在实践中学习这些有意义的结构化模型。

最近的相关研究包括基于可解释性人工智能的其他方法，如LIME和SHAP，以及基于范畴论的其他研究，如范畴论在自然语言处理中的应用。