【上海交通大学】可视化与聚类研究：CNN 神经元究竟学到了什么？ 【论文标题】What do CNN neurons learn: Visualization & Clustering 【作者团队】Haoyue Dai 【发表时间】2020/10/18 【论文链接】https://arxiv.org/abs/2010.11725

【推荐理由】 本文是由上海交通大学的研究人员进行的一项计算机视觉基础研究，利用基于梯度下降的可视化技术和层次化聚类技术探究了卷积神经网络的可解释性问题。

近年来，卷积神经网络（CNN）在多项任务上都取得了令人瞩目的进展。然而，尽管 CNN 具有很好的性能，但是其训练和预测的过程仍然是一个「黑盒」模型，CNN 中的神经元究竟学到了什么仍然是一个未解之谜。在本文中，作者从输入图像的关注内容、偏好、神经元的「支配」情况、激活情况，以及对某个具体的最终预测结果的贡献等方面对 CNN 进行了解释。

具体而言，作者使用了可视化技术和聚类技术处理上述问题。本文使用的可视化技术是回溯到图像像素上的梯度下降方法（例如，grad-CAM）；本文使用的聚类方法包括对图像类别的层次化聚类，以及对网络神经元的过滤器级别的层次「预测树」聚类。

图 1：一些典型的可视化和聚类工作示意图。（a）中真实的猫图像与较浅卷积层中的特征图为（d）。通过图像像素上的梯度下降加大「狗」的维度上在 softmax 之前的 logit 输出，作者生成了（b），并将其分类为狗。（c）是 grad-CAM 的结果，显示出了（a）和（b）中对预测结果具有较大贡献的部分。（e）是不同网络上优化后的「狗」。（f）是对猫分类的层次化预测树聚类。

内容中包含的图片若涉及版权问题，请及时与我们联系删除