Causal Concept Embedding Models: Beyond Causal Opacity in Deep Learning

因果不透明性指的是理解深度神经网络（DNN）推理背后“隐藏”的因果结构的困难。这导致无法依赖和验证最先进的基于DNN的系统，特别是在高风险场景下。因此，因果不透明性代表了深度学习、可解释性和因果性交叉点上的一个关键挑战。本研究通过引入因果概念嵌入模型（Causal CEMs），一类决策过程由设计上具有因果透明性的可解释模型，来解决这一差距。我们实验的结果表明，因果CEMs可以：（i）匹配因果不透明模型的泛化性能，（ii）支持干预和反事实场景的分析，从而提高模型的因果解释能力，并支持对其可靠性和公平性进行有效验证，以及（iii）使人类参与到纠正错误的中间推理步骤中，不仅提高纠正后的下游准确性，还提高了针对特定实例提供的解释的准确性。

论文试图解决深度神经网络因因果不透明性而无法应用于高风险场景的问题，提出了一种因果概念嵌入模型（Causal CEMs）来解决这个问题。

论文中提出了一种因果概念嵌入模型（Causal CEMs），其决策过程是通过因果透明性设计的，可以支持干预和反事实场景的分析，从而提高模型的因果可解释性和支持其可靠性和公平性的有效验证。

论文的实验结果表明，Causal CEMs可以达到与因果不透明模型相同的泛化性能，支持人类在中间推理步骤中进行纠正，提高下游的准确性和为特定实例提供的解释准确性。论文还提供了开源代码和使用的数据集。

在这个领域中，最近的相关研究包括《Interpretable Machine Learning: A Brief History, State-of-the-Art and Challenges》和《Counterfactual Fairness》等。