以下文章来源于微信公众号：小白学视觉

作者：小白学视觉

链接：https://mp.weixin.qq.com/s/kNAiWUE87qebGTIvzCFxkg

本文仅用于学术分享，如有侵权，请联系后台作删文处理

导读
在做深度学习任务中，总会先学习网络架构，其中对于错综复杂的神经网络，没有做好可视化的表达，总会让人头疼。因此，本文推荐最新的神经网络可视化3D版本，助力读者更快、更高效的理解网络结构。
做计算机视觉，离不开CNN。
可是，卷积、池化、Softmax……究竟长啥样，是怎样相互连接在一起的？
对着代码凭空想象，多少让人有点头皮微凉。于是，有人干脆用Unity给它完整3D可视化了出来。

还不光是有个架子，训练过程也都呈现得明明白白。
比如随着epoch（迭代次数）的变化，训练过程中各层出现的实时变化。
为了能更清楚地展示网络细节，用户还可以在其中自由地折叠、扩展每个层。
比如将特征图在线性布局和网格布局之间转换。
折叠卷积层的特征图输出。
对全连接层进行边绑定（edge bunding）等等。
这样的可视化图像，可以通过加载TensorFlow的检查点来构建。
也可以在Unity编辑器中设计。
是不是有点鹅妹子嘤那感觉了？
最近，这个项目又在社交媒体上火了起来。
网友们纷纷表示：
“要是能在训练的时候看到这个过程，再长时间我也能忍啊。”
“求开源。”
该项目的作者，是一位来自维也纳的3D特效师。
据他介绍，之所以创建这样一个CNN可视化工具，是因为他自己初学神经网络时，经常觉得很难理解卷积层之间是如何相互连接，又如何与不同类型的层连接的。
而该工具的主要功能包括，卷积、最大池化和完全连接层的可视化表示，以及各种能实现更清晰可视化的简化机制等等。
总而言之，就是想让初学者通过最直观的方式，来get到CNN的重点。

如何用Unity搞出一个3D网络

在正式上手Unity前，作者先在Houdini软件中，搭建了一个可视化的3D网络原型。

也就是说，先给Unity版3D网络提供一个搭建思路，提前准备好实现展示卷积计算的方法、特征图的形状、边绑定的效果等问题。
它的节点编辑器长这样：
然后，就可以在Unity上搭建3D神经网络了。
首先，需要预设好神经网络的“形状”。
由于之前并没有用过Unity，作者先学习了着色器和过程式几何相关的知识。
这里面，作者发现了一些局限性，他采用的是Unity为着色器开发的语言Shaderlab，这个语言无法使用着色变化，只有对语义进行预定义的变量，才能让它在顶点、几何和像素着色器之间传递。
而且，它无法任意分配顶点属性，只有位置、颜色、UV等预定义属性。（可能这也是3D网络无法实时改变颜色的原因之一）
在研究了一些实例化（instancing）相关的概念后，作者计划采用几何着色器的方法生成神经网络的连线。其中起点和终点被传递到顶点着色器，并直接转发到几何着色器。
这些线，最多可以由120个顶点组成，因为Unity允许的几何着色器能创建的变量的标量浮点数为1024。
设计后的网络形状，大致长这样：
然后，就是从模型的TensorFlow代码中，生成对应的3D神经网络图像。
其中，Tensorflow-native.ckpt格式的文件，需要存储重构模型图所需的数据、二进制的权重读取和激活值，以及特定层的名字。
以Cifar10-greyscale数据集为例，需要编写一个检查点（checkpoint）文件，以及设置随即初始化的权重。
在那之后，需要加载这些检查点文件、启动TensorFlow会话，输入训练示例，以便查询每一层的激活函数。
然后编写一个json文件，存储每一层的形状、名称、权重和激活函数，便于读取。然后使用权重值，将颜色数据分配给各层的Unity Mesh。
最终搞出来的效果，还是不错的：

作者还录了个开发视频，在文末可以找到地址。

相关研究还不少

事实上，此前已经有不少学者，进行过神经网络可视化的研究。
例如，去年5月，一位中国博士就可视化了卷积神经网络，将每一层的变化都展示得非常清楚，只需要点击对应的神经元，就能看见它的“操作”。

这是用TensorFlow.js加载的一个10层预训练模型，相当于在浏览器上就能跑CNN模型，也可以实时交互，显示神经元的变化。
不过，这还是个2D的项目。
目前，也已经有人像上面那个神经网络模型一样，做出了3D的可视化神经网络:

这个项目，同样用到了边绑定、光线追踪等技术，与特征提取、微调和归一化相结合，将神经网络可视化。
这项项目希望能借由这些技术，来估计神经网络中不同部分的重要性。
为此，作者将神经网络的每一部分都用不同的颜色来表示，根据节点和节点在网络中的重要性，来预测它们之间的关联性。
大致的处理过程是这样的：
如果对于这类3D神经网络可视化感兴趣，可以在文末找到对应的开源项目地址。

作者介绍

Stefan Sietzen，现居维也纳，此前曾是个3D视觉方向的自由职业者。
目前，他在维也纳工业大学读硕，对视觉计算（visual computing）非常感兴趣，这个3D神经网络，就是他在硕士期间做的项目之一。
开发过程：
https://vimeo.com/stefsietz
已开源的3D神经网络项目：
https://github.com/julrog/nn_vis

推荐阅读

AIHIA | AI人才创新发展联盟2023年盟友招募

AI融资 | 智能物联网公司阿加犀获得高通5000W融资

Yolov5应用 | 家庭安防告警系统全流程及代码讲解

江大白 | 这些年从0转行AI行业的一些感悟

注意：大白梳理对接AI行业的一些中高端岗位，年薪在50W~120W之间，图像算法、搜索推荐等热门岗位，欢迎感兴趣的小伙伴联系大白，提供全流程交流跟踪，各岗位详情如下：

《AI未来星球》陪伴你在AI行业成长的社群，各项福利重磅开放：

（1）198元《31节课入门人工智能》视频课程；

（2）大白花费近万元购买的各类数据集；

（3）每月自习活动，每月17日星球会员日，各类奖品送不停；

（4）加入《AI未来星球》内部微信群；

还有各类直播时分享的文件、研究报告，一起扫码加入吧！

人工智能行业，研究方向很多，大大小小有几十个方向。
为了便于大家学习交流，大白创建了一些不同方向的行业交流群。
每个领域，都有各方向的行业实战高手，和大家一起沟通交流。
目前主要开设：Opencv项目方面、目标检测方面、模型部署方面，后期根据不同领域高手的加入，建立新的方向群！
大家可以根据自己的兴趣爱好，加入对应的微信群，一起交流学习！
© THE END 


大家一起加油！ 

内容中包含的图片若涉及版权问题，请及时与我们联系删除