EXACT: Towards a platform for empirically benchmarking Machine Learning model explanation methods

这篇论文讨论了可解释人工智能（XAI）领域的发展趋势，旨在提高复杂机器学习（ML）模型的可解释性，但由于其本质上是一种无监督过程，因此在形式化和经验验证方面面临挑战。作者将各种基准数据集和新的性能指标汇集到一个初始的基准测试平台中，即可解释人工智能比较工具包（EXACT），为评估XAI方法提供了一个标准化的基础。这些数据集包含有关类条件特征的基本真相解释，并利用新颖的定量指标，该平台评估事后XAI方法在其产生解释的质量方面的表现。作者的最新研究结果突显了流行的XAI方法的局限性，因为它们往往难以超越随机基线，将重要性归因于不相关的特征。此外，作者还展示了不同性能相当的模型架构所得出的解释的差异性。因此，这个初始的基准测试平台旨在让XAI研究人员测试和确保他们新开发的方法的高质量。

这篇论文旨在解决可解释人工智能（XAI）领域面临的挑战，即如何提高复杂机器学习模型的可解释性，并提供一个标准化的基础来评估XAI方法。

论文提出了一个初始的基准测试平台EXACT，结合各种基准数据集和新的性能度量标准，为评估XAI方法提供一个标准化的基础。该平台利用具有地面真实解释的数据集，并利用新颖的量化度量标准，评估后期XAI方法在其产生的解释质量方面的表现。

论文的亮点包括：提出了一个新的基准测试平台EXACT，提供了具有地面真实解释的数据集，使用新颖的量化度量标准评估XAI方法的性能，揭示了流行的XAI方法的局限性，实验设计合理，为未来的XAI研究提供了重要的参考。

近年来，XAI领域的相关研究不断涌现。例如，'Interpretable Machine Learning: A Brief History, State-of-the-Art and Challenges'，'Towards A Rigorous Science of Interpretable Machine Learning'等。