XpertAI: uncovering model strategies for sub-manifolds

近年来，可解释性人工智能（Explainable AI，XAI）方法促进了对机器学习模型的深入验证和知识提取。虽然分类已经得到广泛研究，但是很少有XAI解决方案解决了回归模型的特定挑战。在回归中，解释需要精确地制定，以回答特定用户查询（例如区分“为什么输出值高于0？”和“为什么输出值高于50？”）。此外，它们应反映模型在相关数据子流形上的行为。在本文中，我们介绍了XpertAI，这是一个框架，将预测策略分解为多个范围特定的子策略，并允许将模型（“explanandum”）的精确查询制定为这些子策略的线性组合。 XpertAI通常与基于遮挡、梯度集成或反向传播的流行XAI属性技术一起使用。定性和定量结果显示了我们方法的好处。

论文旨在解决解释回归模型的问题，特别是针对特定数据子流形的查询。这是否是一个新问题？

该论文提出了XpertAI框架，将预测策略分解为多个区间特定的子策略，并允许将模型的行为表示为这些子策略的线性组合，以解释模型的输出。XpertAI与常见的XAI归因技术（基于遮挡、梯度积分或反向传播）相结合使用。

论文通过定量和定性的实验结果，证明了XpertAI的有效性。论文还提供了开源代码和使用的数据集。

最近的相关研究包括解释分类模型的XAI方法，如LIME和SHAP。