Upper Bound of Bayesian Generalization Error in Partial Concept Bottleneck Model (CBM): Partial CBM outperforms naive CBM

Concept Bottleneck Model (CBM) 是解释神经网络的一种方法。在CBM中，对应于输出原因的概念被插入到最后一个中间层中作为观察值。我们期望能够像线性回归一样解释输出和概念之间的关系。然而，这种解释需要观察所有的概念，会降低神经网络的泛化性能。为了解决这些困难，人们发明了Partial CBM (PCBM)，它使用部分观察到的概念。虽然一些数值实验表明PCBM的泛化性能几乎和原始神经网络一样高，但由于PCBM是奇异的统计模型，其泛化误差的理论行为尚未被明确。在本文中，我们揭示了三层线性结构下PCBM的贝叶斯泛化误差。结果表明，与CBM（完全观察到的概念）相比，部分观察到的概念的结构降低了贝叶斯泛化误差。

本论文旨在解决Concept Bottleneck Model (CBM)方法中概念完全被观察到会降低神经网络泛化性能的问题，提出了部分CBM(PCBM)方法。但是由于PCBM是奇异统计模型，其泛化误差的理论行为尚未被明确。

本文针对三层线性架构的PCBM揭示了贝叶斯泛化误差，结果表明相比CBM，部分观察到的概念结构降低了贝叶斯泛化误差。

论文提出了部分CBM(PCBM)方法来解决CBM中完全观察到概念会降低神经网络泛化性能的问题，并揭示了PCBM的贝叶斯泛化误差。实验使用了三层线性架构和数据集，但未提及是否有开源代码。该领域的未来研究可以继续探索其他架构和数据集的PCBM性能。

最近的相关研究包括解释神经网络的其他方法，如LIME和SHAP，以及其他关于神经网络泛化性能的研究。