Sanity Checks for Explanation Uncertainty

机器学习模型的解释可能很难解释或者是错误的。将解释方法与不确定性估计方法相结合可以产生解释不确定性。评估解释不确定性很困难。在本文中，我们提出了不确定性解释方法的合理性检查，其中为具有不确定性的解释定义了权重和数据随机化测试，允许快速测试不确定性和解释方法的组合。我们在CIFAR10和加利福尼亚住房数据集上实验验证了这些测试的有效性和有效性，指出集成似乎始终通过带导向的反向传播、集成梯度和LIME解释的两个测试。

本论文旨在提出一种对解释不确定性方法进行合理性检查的方法，以便在不同的不确定性和解释方法组合中快速测试。同时，对CIFAR10和加利福尼亚房屋数据集进行实验，验证这些测试的有效性和可行性。

本文提出了解释不确定性的合理性检查方法，包括权重和数据随机化测试，以评估解释不确定性的有效性。此外，本文还研究了Ensembles与Guided Backpropagation、Integrated Gradients和LIME解释的组合情况。

本文提出的解释不确定性的合理性检查方法可以帮助评估不同解释方法和不确定性方法的有效性。实验结果表明，Ensembles与Guided Backpropagation、Integrated Gradients和LIME解释的组合效果较好。

近期的相关研究包括《Towards Interpretable Reinforcement Learning Using Attention Augmented Agents》、《Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI》等。