XEQ Scale for Evaluating XAI Experience Quality Grounded in Psychometric Theory

可解释人工智能（XAI）旨在通过解释来提高自主决策的透明度。最近的文献强调用户需要全面的“多次”解释以及个性化的参与XAI系统的能力。我们将这种以用户为中心的交互称为XAI体验。尽管在创建XAI体验方面取得了进展，但以用户为中心地评估它们仍然具有挑战性。为了解决这个问题，我们介绍了XAI体验质量（XEQ）评分标准（发音为“Seek” Scale），用于评估XAI体验的用户中心质量。此外，XEQ量化了四个评估维度上的体验质量：学习、效用、满足和参与。这些贡献扩展了XAI评估的最新技术，超越了经常开发用于评估单次解释的一维指标。在本文中，我们介绍了XEQ评分标准的开发和验证过程，包括与XAI专家的内容验证以及通过大规模试点研究进行的区分和构建验证。我们的试点研究结果提供了强有力的证据，证明了XEQ评分标准作为评估用户中心XAI体验的综合框架。

本论文旨在解决可解释人工智能（XAI）中评估用户体验的挑战，提出了XAI体验质量（XEQ）评估量表。

XEQ量表通过四个评估维度（学习、实用性、满足度和参与度）量化XAI体验的质量，超越了单次解释的一维度指标。

论文介绍了XEQ量表的开发和验证过程，包括与XAI专家的内容验证以及大规模试点研究中的区分和构建验证。实验结果表明XEQ量表是评估用户中心XAI体验的全面框架。

近期的相关研究包括：1. 'Explainable Artificial Intelligence (XAI)' by Doshi-Velez and Kim; 2. 'A Survey of Methods for Explaining Black Box Models' by Guidotti et al.; 3. 'Towards A Rigorous Science of Interpretable Machine Learning' by Lipton.