本文结合《Explanation decisions made with AI》指南，重点对算法的应用场景和可解释性分析进行了梳理总结。

英国的 Information Commissioner’s Office （ICO）和 The Alan-Turing Institute 联合发布了《Explanation decisions made with AI》指南。该指南旨在为机构和组织提供实用建议，以帮助向受其影响的个人解释由 AI 提供或协助的程序、服务和决定，同时帮助机构和组织遵循欧盟 GDPR 等与个人信息保护相关的政策要求。该指南分为三个部分，第 1 部分：可解释 AI 的基础知识；第 2 部分：可解释 AI 的实践；第 3 部分：可解释 AI 对机构 / 组织的意义。指南最后给出了主流的 AI 算法 / 模型的适用场景，以及对这些算法 / 模型的可解释性分析，可作为实践任务中结合应用场景特点选择能够满足领域要求的可解释性的 AI 算法 / 模型的参考。
本文结合《Explanation decisions made with AI》指南，重点对算法的应用场景和可解释性分析进行了梳理总结。此外，我们还解读了一篇医学领域可解释性方法的最新论文—《评估药物不良事件预测中基于注意和 SHAP 时间解释的临床有效性》，以了解关于可解释性方法的最新研究进展。
1、算法的应用场景和可解释性分析
《Explanation decisions made with AI》指南给出了主流的 AI 算法 / 模型的适用场景，以及对这些算法 / 模型的可解释性分析，作者对主流模型的可解释性情况进行了梳理总结。

算法类型

可能的应用

解释

线性回归 （LR）

在金融（如信用评分）和医疗保健（根据生活方式和现有的健康状况预测疾病风险）等高度监管的行业中具有优势，因为它的计算和监督都比较简单。

由于线性和单调性，具有较高的可解释性。随着特征数量的增加（即高维度），可解释性会变差。

逻辑回归

像线性回归一样，在高度管制和安全关键部门有优势，特别是在基于分类问题的用例中，如对风险、信用或疾病的是/否决策。

良好的可解释性，但不如LR，因为特征是通过逻辑函数转换的，与概率结果的关系是对数，而不是相加。

正则化回归（LASSO和Ridge）

与线性回归一样，在要求结果可理解、可获得和透明的高度监管和安全关键部门中具有优势。

由于通过更好的特征选择程序改善了模型的稀疏性，因此具有高度的可解释性。

广义线性模型(GLM)

适用于目标变量具有需要指数族分布集的约束条件的用例（例如，如果目标变量涉及人数、时间单位或结果的概率，则结果必须具有非负值。）

良好的可解释性水平，跟踪了LR的优点，同时也引入了更多的灵活性。因为其链接功能，确定特征的重要性可能不如用加性特征简单的LR那么直接，一定程度上失去了透明度。

广义加性模型（GAM）

适用于预测变量和响应变量之间的关系不是线性的（即输入-输出关系在不同时间以不同速度变化），但需要最佳可解释性的用例。

良好的可解释性，因为即使在存在非线性关系的情况下，GAM也可以用图形清晰地表示预测变量对响应变量的影响。

决策树

由于产生DT结果的分步逻辑对非技术用户来说很容易理解（取决于节点/特征的数量），这种方法可用于需要透明度的高风险和安全关键的决策支持情况，以及相关特征数量相当少的许多其他用例。

如果DT保持相当小的规模，那么可解释的程度就很高，这样就可以从头到尾跟踪逻辑。与LR相比，DT的优势在于前者可以适应非线性和变量交互，同时保持可解释性。

规则/决定清单和集

与DT一样，由于产生规则列表和规则集的逻辑对非技术用户来说很容易理解，这种方法可用于需要透明度的高风险和安全关键的决策支持情况，以及其他许多需要明确和完全透明地说明结果的用例。

规则列表和规则集是所有最佳性能和不透明的算法技术中具有最高程度的可解释性之一。然而，它们也与DT有相同的可能性，即当规则列表变长或规则集变大时，可理解的程度就会消失。

基于案例的推理（CBR）/原型和批评

CBR适用于任何基于经验的领域。推理用于决策的任何领域。例如，在医学上，当以前类似案例的成功经验指向决策者建议的治疗方法时，就会在CBR的基础上推荐。CBR扩展到原型和批评的方法意味着更好地促进对复杂数据分布的理解，以及增加数据挖掘的洞察力、可操作性和可解释性。

CBR是可以通过设计来解释的。它使用从可解释的设计中提取的例子。它使用从人类知识中提取的例子，以便将输入的特征吸收到人类可识别的表征中。它通过稀疏的特征和熟悉的原型保留了模型的可解释性。

超稀疏线性整数模型(SLIM)

SLIM已被用于需要快速、简化而又最准确的临床决策的医疗应用中。一个被称为风险校准SLIM（RiskSLIM）的版本已被应用于刑事司法领域，表明其稀疏线性方法对生态犯罪的预测与目前使用的一些不透明模型一样有效。

由于其稀疏和易理解的特点，SLIM为以人为中心的决策支持提供了最佳的可解释性。作为一个手动完成的评分系统，它还确保了实施它的引导员-用户的积极参与。

Naïve Bayes

虽然这种技术由于不现实的特征独立性假设而被认为是naive的，但众所周知它是非常有效的。它的快速计算时间和可扩展性使其适合于高维特征空间的应用。
常见的应用包括垃圾邮件过滤、推荐系统和情感分析。

Naive Bayes分类器具有高度的可解释性，因为每个特征的类成员概率是独立计算的。然而，假设独立变量的条件概率在统计上是独立的，这也是一个弱点，因为没有考虑特征的相互作用。

K近邻（KNN）

KNN是一种简单、直观、多功能的技术，应用广泛，但对较小的数据集效果最好。由于它是非参数性的（对基础数据分布不做任何假设），它对非线性数据很有效，同时不失可解释性。常见的应用包括推荐系统、图像识别、客户评级和排序。

KNN的工作假设是，通过查看它们所依赖的数据点与产生类似类别和结果的数据点的接近程度，可以预测类别或结果。这种关于近似性/接近性的重要性的直觉是对所有KNN结果的解释。当特征空间保持小的时候，这样的解释更有说服力，所以实例之间的相似性仍然是可以得到的。

SVM

SVM对于复杂的分类任务来说是非常通用的。它们可以用来检测图像中物体的存在（有脸/无脸；有猫/无猫），对文本类型进行分类（体育文章/艺术文章），以及识别生物信息学中感兴趣的基因。

可解释性水平低，取决于维度特征空间。在上下文确定的情况下，使用SVM应辅以辅助解释工具。

ANN

ANN最适合于完成高维特征空间的各种分类和预测任务，即有非常大的输入向量的情况。它们的用途可能包括计算机视觉、图像识别、销售和天气预报、药品发现和股票预测、机器翻译、疾病诊断和欺诈检测。

由于曲线（极端非线性）的倾向和输入变量的高维度，导致ANN非常低的可解释性。ANN被认为是 "黑盒 "技术的缩影。在适当的情况下，应当引入解释工具辅助ANN的使用。

随机森林

随机森林经常被用来有效地提高单个决策树的性能，改善其错误率，并减轻过拟合。它们在基因组医学等高维问题领域非常流行，也被广泛用于计算语言学、计量经济学和预测性风险建模。

由于在bagged数据和随机特征上训练这些决策树群的方法、特定森林中的树木数量以及单个树木可能有数百甚至数千个节点的可能性，可能导致随机森林方法非常低的可解释性。

集合方法

集合方法有广泛的应用，跟踪其组成学习者模型的潜在用途（包括DT、KNN、随机森林、NaiveBayes，等等）。

集合方法的可解释性因使用何种方法而不同。例如，使用bagging技术的模型，即把在随机数据子集上训练的学习者的多个估计值平均起来，其原理可能难以解释。对这些技术的解释需求应该结合其组成学习者的情况分别考虑。


2、评估药物不良事件预测中基于注意力机制和 SHAP 时间解释的临床有效性

可解释的机器学习是一个新兴的领域，它尝试以更人性化的方式帮助我们理解黑盒分类器模型的决策。特别是对于医疗领域，可解释性对于提供公开透明的分析和合法的决策结果至关重要。具备可解释性，一线医疗利益相关者就可以信任模型的决定并采取适当的行动。此外，全面的可解释性能够确保医疗实施的用户可能获取监管权利，例如根据欧盟通用数据保护条例（GDPR）："获得解释的权利"。
在医疗领域，深度学习模型应用于电子健康记录（Electronic Health Record，EHR）数据获得了很好的效果。例如循环神经网络（RNN）能够有效捕捉 EHR 中时间相关的和异质的数据复杂性。然而，RNNs 的一个主要缺点是缺乏内在的可解释性。在过去的研究过程中，已经产生了几种使 RNNs 更具解释性的方法，例如，通过引入注意力机制使模型本身更易解释，如用 RETAIN；事后可解释性框架（如 SHAP）可以应用于概述 RNNs 的时间解释等等。 

RETAIN[2]：用于分析 EHR 数据以预测病人未来出现心力衰竭的风险。RETAIN 受注意力机制启发，通过使用一个两层的神经注意力模型，并对 EHR 数据进行逆序输入系统，模拟医生满足病人需求及分析病人记录时专注于病人过去诊疗记录中某些特殊临床信息、风险因素的过程，在保证预测结果准确性（Accuracy）的同时确保了结果的可解释性（interpretability）。

SHAP[3]：来自于博弈论原理，SHAP（SHapley Additive exPlanations）为特征分配特定的预测重要性值，作为特征重要性的统一度量，能够解释现代机器学习中大多数的黑盒模型，为机器学习模型量化各个特征的贡献度。给定当前的一组特征值，特征值对实际预测值与平均预测值之差的贡献就是估计的 Shapley 值。

然而，关于医学预测领域 RNN 的可解释技术所提供的时间解释的质量，还存在着研究空白。支持和反对使用注意力作为解释方法的论点都存在，一些证据表明，使用注意力得分可以提供足够的透明度来解释单个特征如何影响预测结果。而还有一些证据则质疑了注意力机制的有效性，因为注意力值和更直观的特征重要性测量之间的相关性很弱。在实践中，用于模型解释的可视化平台已经成功地利用了注意力分数来为医学预测提供解释。然而，使用注意力值的整体效用还需要更深入的验证，特别是与利用其他可解释方法（如 SHAP）相比。
本文的主要目标是探索具有内在可解释性的 RNN 通过注意力机制能够在多大程度上提供与临床兼容的时间解释，并评估这种解释应该如何通过应用事后方法来补充或取代，例如对黑盒 RNN 的 SHAP。本文具体在药物不良事件（Adverse Drug Event，ADE）预测的医学背景下探讨这个问题。结合我们所解读的《Explanation decisions made with AI》指南，这篇文章所讨论的是典型的必须应用非线性统计技术的情况。在上一章节的梳理中，指南已经明确“由于曲线（极端非线性）的倾向和输入变量的高维度，导致 ANN 非常低的可解释性。ANN 被认为是 "黑盒" 技术的缩影。在适当的情况下，应当引入解释工具辅助 ANN 的使用。”。因此，本文所做的工作就是为应用于医学领域的 ANN 方法引入适当的辅助解释工具（注意力机制和 SHAP 时间解释）。当然，正如我们在之前的解读中分析的，在一些应用场景中，简单的白盒模型 / 方法无法满足应用需要，为了保证较高的准确度 / 预测率，有时必须采用黑盒算法 / 模型。而如何在这种情况下通过引入辅助解释工具帮助模型 / 系统的用户更好的理解解释，就是下面这篇论文会详细介绍的了。
2.1 方法介绍
令ε={P1,...,Pn}表征 n 个病人的数据库。Pj 表征 K 个病人就诊数据记录，Pj = {x_1, . . , x_k}，其中，x_k 发生在时间点 t_k，包含一组描述该次诊疗的医疗变量，考虑到第 j 个病人在时间点 t-1 的病史数据 Pj={x_1, . . . , x_t-1}，我们的任务是预测时间点 t 的 ADE 的发生，并准确地解释为什么使用病人病史的整个时间结构来预测这种 ADE。为了解决这个问题，本文将 RNN 模型和可解释性技术结合起来，对全局和局部解释的方法进行了比较和临床验证的分析。
SHAP 框架确定了加法特征重要性方法的类别，以提供模型无关的解释。SHAP 已经成为一种流行的模型可解释性方法，因为它拥有多种理想的特性，即全局一致的解释，这是其他事后方法所不能提供的，在这些方法中，局部定义的预测可能与全局模型的预测不一致。SHAP 建立在使用博弈论中的 Shapley 值的基础上，在博弈论中，通过将不同的特征视为联盟中的不同玩家来计算特定特征值对选定预测的影响。这些特征中的每一个都可以被看作是对预测的相对贡献，这些贡献可以通过计算可能的联盟中的边际贡献的平均值而被计算为 Shapley 值。
Shapley 值（表示为φ_ij），可以理解为每个特征值 x_ij 对每个样本 i 和特征 j 的预测偏离数据集的平均预测的程度。在本研究中，每个医疗变量的 Shapley 值是针对病史中的每个时间点计算的，以解释每个医疗变量对预测的影响是如何高于或低于基于背景数据集的预测平均值的。
递归神经网络（RNN）是前馈神经网络模型的概括，用于处理连续的数据，拥有一个持续的内部状态 h_t，由 j 个隐藏单元 h_j 组成，作为处理连续状态之间的依赖关系的记忆机制，在本文案例中具体是指跨时间点的病人诊疗信息。
本文希望采用一个基本的 RNN architechure 与 SHAP 相结合，它应该能够达到与 RETAIN 相当的性能水平，以帮助直接比较有效性解释方法，而不会因为过度追求可解释性而影响了模型本身的性能。具体的，本文基本 RNN 模型的内部状态由门控递归单元（GRU）组成，通过迭代以下方程定义：

其中，r_j 为复位门，它决定了一个状态中的每一个第 j 个隐藏单元的前一个状态被忽略的程度；h_t-1 是上一个隐藏的内部状态；W 和 U 是包含由网络学习的参数权重的矩阵；z_j 是一个更新门，决定了隐藏状态应该如何被更新为新的状态 h_new；(h_j)^t 表示隐藏单元 h_j 的激活函数；sigm( )表示 sigmoid 函数；◦是 Hadamard 积。
本文采用与 SHAP 相结合的 GRU 架构，包括两个 128 个单元的堆叠的 GRU 隐藏层，然后是 dropout 层，最后是一个全连接层，通过一个 softmax 函数产生输出分类概率ˆy。
为了收集基于注意力的时间解释，本文采用了 RETAIN 的 RNN 架构，在预测阶段，基于注意力的贡献分数可以在单个医学变量层面上确定。这个 RNN 首先由输入向量 x_i 的线性嵌入组成：

v_i∈R^m 是二进制输入向量 x_i∈R^V 的嵌入，W_emb∈R^(m xV)是嵌入的权重向量，m 是 V 个医疗变量的嵌入维度。使用两个 RNNs，RNNa 和 RNNb 分别用于生成访问和可变水平的注意力向量α和β。注意力向量是通过在时间上向后运行 RNN 来生成的，这意味着 RNNα和 RNNβ都以相反的顺序考虑访问嵌入。最后，我们得到每个病人在第 i 次就诊前的情况向量 c_i：

然后，最终预测结果的计算方法如下：

基于注意力的贡献得分可以确定对某一预测贡献最大的访问和医疗变量。分数可以用下式计算：

在本文研究中，根据 RNN-GRU 模型修改了 SHAP，使用的是原始 SHAP 实现的修改代码库。作者采用了深度学习模型的梯度解释方法，该方法基于预期梯度，使用 1000 个随机样本的背景数据，为每个预测提供 Shapley 值的近似值。作者表示，这种特殊的近似处理并不保证 SHAP 的每一个属性，但对于本文的目标来说是合适的。

内容中包含的图片若涉及版权问题，请及时与我们联系删除