DeepMind 最新发文：AlphaZero 的黑箱打开了

国际象棋一直是 AI 的试验场。70 年前，艾伦·图灵猜想可以制造一台能够自我学习并不断从自身经验中获得改进的下棋机器。上世纪出现的“深蓝”第一次击败人类，但它依赖专家编码人类的国际象棋知识，而诞生于 2017 年的 AlphaZero 作为一种神经网络驱动的强化学习机器实现了图灵的猜想。

AlphaZero 的无需使用任何人工设计的启发式算法，也不需要观看人类下棋，而是完全通过自我对弈进行训练。

那么，它真的学习了人类关于国际象棋的概念吗？这是一个神经网络的可解释性问题。

最近，AlphaZero 的作者 Demis Hassabis 与 DeepMind 的同事以及谷歌大脑的研究员合作了一项研究，在 AlphaZero 的神经网络中找到了人类国际象棋概念的证据，展示了网络在训练过程中获得这些概念的时间和位置，还发现了 AlphaZero 与人类不同的下棋风格。论文近期发表于 PNAS。

AlphaZero 的网络架构包含一个骨干网络残差网络（ResNet）和单独的 Policy Head、Value Head，ResNet 由一系列由网络块和跳跃连接（skip connection）的层构成。

在训练迭代方面，AlphaZero 从具有随机初始化参数的神经网络开始，反复与自身对弈，学习对棋子位置的评估，根据在此过程中生成的数据进行多次训练。

为了确定 AlphaZero 网络在多大程度上表征了人类所拥有的国际象棋概念，这项研究使用了稀疏线性探测方法，将网络在训练过程中参数的变化映射为人类可理解概念的变化。

首先将概念定义为如图 1 中橙色所示的用户定义函数。广义线性函数 g 作为一个探针被训练用于近似一个国际象棋概念 c。近似值 g 的质量表示层（线性）对概念进行编码的程度。对于给定概念，对每个网络中所有层的训练过程中产生的网络序列重复该过程。

图 1：在 AlphaZero 网络（蓝色）中探索人类编码的国际象棋概念。

比如，可以用一个函数来确定我方或地方是否有“主教” (♗) ：

当然，还有很多比这个例子更复杂的象棋概念，比如对于棋子的机动性（mobility），可以编写一个函数来比较我方和敌方移动棋子时的得分。

在本实验中，概念函数是已经预先指定的，封装了国际象棋这一特定领域的知识。

接下来是对探针进行训练。研究人员将 ChessBase 数据集中 10 的 5 次方个自然出现的象棋位置作为训练集，从深度为 d 的网络激活训练一个稀疏回归探针 g，来预测给定概念 c 的值。

通过比较 AlphaZero 自学习周期中不同训练步骤的网络，以及每个网络中不同层的不同概念探针的分数，就可以提取网络学习到某个概念的时间和位置。

最终得到每个概念的 what-when-where 图，对“被计算的概念是什么”、“该计算在网络的哪个位置发生”、“概念在网络训练的什么时间出现”这三个指标进行可视化。如图2。

图2：从 A 到 B 的概念分别是“对总分的评估”、“我方被将军了吗”、“对威胁的评估”、“我方能吃掉敌方的皇后吗”、“敌方这一步棋会将死我方吗”、“对子力分数的评估”、“子力分数”、“我方有王城兵吗”。

可以看到，C 图中，随着 AlphaZero 变得更强，“threats”概念的函数和 AlphaZero 的表征（可由线性探针检测到）变得越来越不相关。

这样的 what-when-where 图包括探测方法比较所需的两个基线，一是输入回归，在第 0 层显示，二是来自具有随机权重的网络激活的回归，在训练步骤 0 处显示。上图的结果可以得出结论，回归精度的变化完全由网络表征的变化来决定。

此外，许多 what-when-where 图的结果都显示了一个相同的模式，即整个网络的回归精度一直都很低，直到大约 32k 步时才开始随着网络深度的增加而迅速提高，随后稳定下来并在后面的层中保持不变。所以，所有与概念相关的计算都在网络的相对早期发生，而之后的残差块要么执行移动选择，要么计算给定概念集之外的特征。

而且，随着训练的进行，许多人类定义的概念都可以从 AlphaZero 的表征中预测到，且预测准确率很高。

对于更高级的概念，研究人员发现 AlphaZero 掌握它们的位置存在差异。首先在 2k 训练步骤时与零显著不同的概念是“material”和“ space”；更复杂的概念如“king_safety”、“threats”、“mobility”，则是在 8k 训练步骤时显著得变为非零，且在 32k 训练步骤之后才有实质增长。这个结果与图 2 中 what-when-where 图显示的急剧上升的点一致。

另外，大多数 what-when-where 图的一个显著特征是网络的回归精度在开始阶段增长迅速，随后达到平稳状态或下降。这表明目前从 AlphaZero 身上所发现的概念集还只是检测了网络的较早层，要了解后面的层，需要新的概念检测技术。