【论文标题】Understanding the Role of Individual Units in a Deep Neural Network (PNAS 2020) 【可解释性】理解一个神经元在深度神经网络中的作用(PNAS 2020) 【知乎网址】https://zhuanlan.zhihu.com/p/237430657 【作者团队】David Bau, Jun-Yan Zhu, Hendrik Strobelt, Agata Lapedriza, Bolei Zhou, Antonio Torralba 【发表时间】2020/9/10 【论文链接】https://arxiv.org/pdf/2009.05041.pdf 【代码链接】https://github.com/davidbau/dissect 【推荐理由】 这不只是一篇论文,这是一群科学家持续了5年的关于探索一个神经元的价值的故事,是一个“神经病”坚持寻求真理的旅程。

目前深度神经网络擅长通过大型数据集学习到相应数据的分层表示形式,用以解决复杂任务问题。但是我们人类是如何理解这些深度神经网络学到的表示形式呢?

在本文中,作者提出了用网络解剖的分析框架来系统地识别图像分类和图像生成的神经网络中各个隐含单元的语义。首先,作者分析了训练好用于场景分类的卷积神经网络(CNN),并发现与各种对象概念相匹配的神经元单元。其次,作者继续分析训练好用于生成场景的对抗学习网络(GAN),通过简单的打开(激活)或者关闭(停用)少量神经元,发现可以在适应上下文的同时在生成场景中增加和删除对象。最后,作者还将分析框架应用于对抗攻击模型和语义图像编辑模型中。

这个论文把之前的一系列解析一个神经元价值的工作整合起来,通过打开和关闭神经元的简单操作,量化分析了场景分类网络和生成网络里面一个神经元的价值,并且在解释对抗样本和图片编辑上面做了应用,对人工智能的可解释性发展有重要意义。