Root Causing Prediction Anomalies Using Explainable AI

本文提出了一种新颖的可解释人工智能（XAI）应用，用于查找从用户参与数据中不断学习的机器学习模型中性能下降的根本原因。在这种系统中，单个特征的损坏可能会导致级联特征、标签和概念漂移。我们已成功地将这种技术应用于提高个性化广告模型的可靠性。这些系统中的性能下降表现为模型中的预测异常。这些模型通常使用由数百个实时数据处理管道生成的特征或从其他上游模型派生的特征进行连续训练。这些管道中的任何一个故障或上游模型中的不稳定性都可能导致特征损坏，导致模型的预测输出偏离实际输出并使训练数据变得不准确。特征与预测输出之间的因果关系非常复杂，由于系统的规模和动态性，因此查找根本原因具有挑战性。我们演示了如何通过全局特征重要性分布的时间漂移有效地隔离预测异常的原因，其召回率比模型到特征相关性方法更好。即使使用基于简单扰动的方法来近似局部特征重要性并对几千个示例进行聚合，该技术似乎也是有效的。我们发现，这种技术是一种模型无关、廉价且有效的监控复杂数据管道的方法，并已部署了一个系统来连续分析不断训练模型的全局特征重要性分布。

本文旨在应用可解释的人工智能（XAI）来解决从用户参与数据中不断学习的机器学习模型中性能下降的根本原因，这些系统中单个特征的损坏可能会导致级联特征、标签和概念漂移。

通过分析全局特征重要性分布的时间变化，可以有效地分离预测异常的原因，即使使用基于简单扰动的方法来近似局部特征重要性，并聚合几千个示例也很有效。

实验结果表明，该技术是一种模型无关、廉价且有效的监测复杂数据管道的方法，并已部署一个系统，用于持续分析持续训练模型的全局特征重要性分布。

与此相关的研究包括使用XAI来解释模型预测的其他方面，以及使用不同技术来监测模型的性能和稳定性，如模型解释、异常检测和数据质量监测。