AI系统前沿动态第39期：谷歌真的抛弃了TensorFlow？；CUDA入门的正确姿势；李飞飞：我更像物理学界的科学家

1、李飞飞：我更像物理学界的科学家，而不是工程师｜深度学习崛起十年

从为了维持生计和学业当保洁员，到成为斯坦福教授和享誉AI领域的科学家，她是如何做到的？ImageNet对深度学习的崛起意味着什么？她目前对AI发展的关注重心是什么？又如何看待AI学界人才等资源外流的现状？

https://mp.weixin.qq.com/s/WKASo4qKUtkhphK7fwUZgA

2、谷歌抛弃 TensorFlow，押宝 JAX，是这样吗？

几天各大科技媒体都在唱衰TensorFlow，鼓吹JAX。业内人士都是怎么评价的？

https://www.zhihu.com/question/537823429

3、OSDI 2021 PET 论文解读

现有的框架在图层做优化一般都是基于等价变换，也就时说变换前后的程序是完全等价的。这里等价的意思是给定相同的输入，那么变换前后的程序一定可以得到相同的输出。而这篇论文挖了一个新坑，即做了一个新的框架PET，在优化过程中允许出现部分等价的变换，并且设计了一个高效的搜索算法去组合完全等价以及部分等价的变换以探索更大的搜索空间。并且最终结果也比较好。

https://mp.weixin.qq.com/s/-kgiB9sxKuIVctb2MdQc_w

4、飞桨框架v2.3发布高可复用算子库PHI！重构开发范式，降本增效

2022年5月飞桨框架2.3版本正式发布，飞桨框架的算子库重构，设计实现了高可复用算子库PHI（Paddle HIgh reusability operator library），主推以配置式算子定义和函数式算子内核组合调用的方式实现新算子。新算子库提供了百余个与Python开发接口保持一致的C++运算类API，以及近500个可供组合调用的前、反向函数式算子内核，可大幅降低框架原生算子和自定义算子的开发成本。

https://mp.weixin.qq.com/s/YyBnZBm7rRnllJzwWmb_dA

5、用沐神的方法阅读PyTorch FX论文

torch.fx对于PyTorch来说确实是一个比较好的工作，因为它消除了一些动态图和静态图的Gap。比如在图改写方面，torch.fx让PyTorch想做一些其它静态图框架的算子融合优化非常容易。

https://zhuanlan.zhihu.com/p/449908382

6、图解OneFlow的学习率调整策略

学习率调整策略（learning rate scheduler），其实单独拎出每一个来看都不难，但是由于方法较多，上来就看文档容易一头雾水，以OneFlow v0.7.0为例，oneflow.optim.lr_scheduler模块中就包含了14种策略。有没有一种更好的方法来学习呢？比如可视化出学习率的变化过程，此时，我脑海中突然浮现出Convolution Arithmetic这个经典项目，作者将各种CNN卷积操作以gif形式展示，一目了然。

https://mp.weixin.qq.com/s/tMFX0rstG2asfprG-0LnaA

7、MegEngine Inference 卷积优化之 Im2col 和 winograd 优化

在 CV 领域中，卷积计算是扩充像素的感受野的有效方法，模型大多数的计算量都是卷积操作贡献的。因此在 CV 模型的推理性能优化中，最重要的一项工作是对卷积的优化。

https://zhuanlan.zhihu.com/p/532187602

8、DeepSpeed之ZeRO系列：将显存优化进行到底

过去两年DeepSpeed团队发表了三篇ZeRO相关的论文，提出了去除冗余参数、引入CPU和内存、引入NVMe等方法，从始至终都围绕着一个目标：将显存优化进行到底。

https://zhuanlan.zhihu.com/p/513571706

9、cuda 入门的正确姿势：how-to-optimize-gemm

在一切开始之前，想唠两句“普通中年人如何持续提升（技术/非技术）”的事，重要的是不要做长期计划。大约写完 chgemm 之后，就想试试 GPU kernel。日常不写 kernel，也没人指点。第一个纠结的问题就是：这么点业余时间，学 vulkan/glsl 好还是学 cuda 好 ?

https://zhuanlan.zhihu.com/p/478846788

10、自动微分原理三：自动微分的具体实现

虽然自动微分的数学原理已经明确，包括正向和反向的数学逻辑和模式，但具体的实现方法则可以有很大的差异。