我们都知道,深度神经网络擅长查找可解决大型数据集上复杂任务的分层表示。 而对我们人类来讲,应该如何理解这些学习得到的表示呢?

本文介绍的论文中,作者MIT朱俊彦团队&港中文周博磊等介绍了他们对网络的解剖,这个网络框架可以系统地识别图像分类和图像生成网络中各个隐藏单元的语义。

论文链接:https://arxiv.org/pdf/2009.05041v1.pdf 开源链接:https://github.com/davidbau/dissect 项目网站:https://dissect.csail.mit.edu

首先,本篇文章分析了经过场景分类训练的卷积神经网络(CNN),并发现了与各种物体对象概念相匹配的单元。

研究结果发现,神经网络已经学到了许多对象类的特征,这些学习得来的结果在场景的分类中起着至关重要的作用。

其次,研究人员使用类似的分析方法,分析了生成场景的生成对抗网络(GAN)模型。通过分析在激活或停用少量隐藏单元时所做的微小改变,研究人员发现了可以在适应上下文语境的同时,从输出场景中添加和删除对象。

最后,本篇文章还将本文分析框架使用于理解对抗攻击和语义图像编辑的两个应用上去。

点击这里阅读论文的详细解读

内容中包含的图片若涉及版权问题,请及时与我们联系删除