DARPA （美国防部高级研究计划局）于 2015 年制定了可解释人工智能 (XAI) 计划，目标是使最终用户能够更好地理解、信任和有效管理人工智能系统。 2017年，为期4年的XAI研究计划启动。 现在，随着 XAI 在 2021 年结束，本文总结和反思了 XAI 项目的目标、组织和研究进展。

图1：DARPA可解释的人工智能 (XAI) 项目结构，包括技术领域 (TA) 和评估框架。

可解释人工智能（XAI）的既定目标是创建一套新的或修改过的机器学习技术，这些技术产生可解释的模型，当与有效的解释技术相结合时，使最终用户能够理解，适当地信任和有效地管理新兴的人工智能系统。

如图1所示，该计划分为三个主要技术领域（TA）：（a）开发新的XAI机器学习和解释技术以生成有效的解释;（b）通过总结、延伸和运用解释心理学来理解解释心理学;（c）在两个挑战性问题领域评估新的XAI技术：数据分析和自主性。

XAI 结果，经验教训

在计划期间进行了三项主要评价：一项在第1阶段，两项在第2阶段。为了评估XAI技术的有效性，研究人员对程序设计并执行了用户研究。用户研究仍然是评估解释的黄金标准。在XAI研究人员进行的用户研究中，大约有12700名参与者，包括大约1900名受监督的参与者，其中个人由研究小组（例如，亲自或在Zoom上）指导完成实验，10800名无监督参与者。在这些用户研究过程中，确定了几个关键要点。

  • 与仅提供决策的系统相比，用户更喜欢提供决策解释的系统。解释提供最大价值的任务是用户需要了解AI系统如何做出决策的内部工作原理的任务。（由执行团队中的 11 个实验提供支持）。
  • 为了使解释提高用户任务性能，任务必须足够困难，以便AI解释有所帮助（PARC，UT达拉斯）。
  • 用户认知负荷来解释解释可能会阻碍用户的表现。结合前一点，需要校准解释和任务难度，以提高用户性能（加州大学洛杉矶分校，俄勒冈州）。
  • 当AI不正确时，解释更有用，并且对于边缘情况（加州大学洛杉矶分校，罗格斯大学）特别有价值。
  • 解释有效性的衡量标准可以随着时间的推移而变化（雷神，BBN）。
  • 与单独的解释相比，可取性可以显着提高用户的信任度（加州大学伯克利分校）。
  • XAI对于测量和调整用户和XAI系统的心智模型非常有用（罗格斯大学，SRI）。
  • 最后，由于XAI的最后一年发生在COVID-19大流行的史无前例的时期，我们的执行团队开发了设计Web界面的最佳实践，以便在无法进行面对面研究时进行XAI用户研究（俄勒冈州立大学，加州大学洛杉矶分校）。

展望未来，项目组认为开发XAI的挑战之一是衡量解释的有效性。DARPA的XAI工作有助于开发这一领域的基础技术，但还需要做更多的工作，包括从人为因素和心理学社区中汲取更多。解释有效性的度量需要由开发人员社区很好地建立，很好地理解和易于实现，以便有效的解释成为ML系统的核心功能。

了解更多详细内容，请阅读原文：DARPA's explainable AI (XAI) program: A retrospective 

内容中包含的图片若涉及版权问题，请及时与我们联系删除