Explainability of Machine Learning Models under Missing Data

缺失数据是一个普遍存在的问题，它会严重影响模型的性能和可解释性。本文简要概述了缺失数据领域在可解释人工智能方面的发展，并通过实验研究了各种填补方法对于Shapley值计算的影响，Shapley值是一种解释复杂机器学习模型的流行技术。我们比较了不同的填补策略，并评估了它们对于Shapley值所确定的特征重要性和交互作用的影响。此外，我们还从理论上分析了缺失值对Shapley值的影响。重要的是，我们的研究发现，填补方法的选择可能会引入偏差，从而导致Shapley值的变化，进而影响模型的可解释性。此外，测试预测均方误差（MSE）的降低并不意味着Shapley值的MSE降低，反之亦然。此外，虽然Xgboost是一种可以直接处理缺失数据的方法，但是在使用Xgboost直接处理缺失数据时，与在训练Xgboost之前填补数据相比，可能会严重影响可解释性。本研究在模型解释的背景下全面评估了填补方法，为选择基于数据集特征和分析目标的适当技术提供了实用指导。研究结果强调了考虑填补效果的重要性，以确保从机器学习模型中获得健壮可靠的见解。

论文探讨缺失数据对机器学习模型可解释性的影响，以及不同的填补缺失值方法对Shapley值计算的影响。

研究发现，选择不同的填补缺失值方法可能会导致Shapley值发生变化，从而影响模型的解释性。同时，使用Xgboost直接处理缺失数据会严重影响可解释性，需要在训练之前填补缺失值。提供了实用的指导，帮助选择适当的填补方法。

实验比较了不同的填补缺失值方法对Shapley值的影响，理论上分析了缺失值对Shapley值的影响。结果表明，测试预测均方误差（MSE）降低并不意味着Shapley值的MSE降低，反之亦然。研究提供了全面的填补方法评估，给出了基于数据集特征和分析目标选择适当技术的实用指南。

最近的相关研究包括：《Handling Missing Data in Machine Learning Models》、《A Survey on Handling Missing Values in Data Mining》等。