1、GPU架构变迁之AI系统视角：从费米到安培

 

每一代NV GPU的发布都会给业界带来新的想象空间。作为AI系统（这里主要代指深度学习系统）方向的从业者，最关心的自然是每一代GPU能够为AI系统领域带来哪些新的变量。从之前NV GPU的甲方消费者，转变为现在的乙方提供者，视角变化让自己可以从不同角度来看待这个问题。这里会以深度学习系统的发展踪迹为应用载体，来回顾NV GPU架构的历史变迁。

 

链接：https://mp.weixin.qq.com/s/ICiOMXMDLzZ_TupfY4kEhQ

 

 

2、谷歌长文总结四代TPU打造经验：里程碑式的TPUv4是怎样炼成的？

 

作为图灵奖得主、计算机架构巨擘，David Patterson 在 2016 年从伯克利退休后，以杰出工程师的身份加入了谷歌大脑团队，为几代 TPU 的研发做出了卓越贡献。几个月前谷歌强势推出了 TPUv4，并撰写论文讲述了研发团队的设计思路和从前几代 TPU 中吸取的经验。

 

链接：https://mp.weixin.qq.com/s/e8zOrmiIidy8IoV1yMfdKg

 

3、GitHub 1.6万星的JAX并不完美

 

近年来，谷歌于 2018 年推出的 JAX 迎来了迅猛发展，很多研究者对其寄予厚望，希望它可以取代 TensorFlow 等众多深度学习框架。但 JAX 是否真的适合所有人使用呢？这篇文章对 JAX 的方方面面展开了深入探讨，希望可以给研究者选择深度学习框架时提供有益的参考。

 

链接：https://mp.weixin.qq.com/s/5_0QP7NxPI44fG1uv6e40Q

 

4、一个Tensor在深度学习框架中的执行过程

 

这篇文章以oneflow.relu这个Op为例，介绍了要执行这个Op需要依赖的Interpreter和VM机制，对想了解OneFlow Eager执行机制的朋友希望有一点帮助。

 

链接：https://mp.weixin.qq.com/s/T9r36P7BfTyvhMvwgkEXAA

 

5、MLIR：终结摩尔定律之编译器基础结构

 

本文的贡献包括（1）讨论MLIR作为本文研究成果可能的扩展和进化，并指出这个新设计方法在设计、语义、优化规范、系统和工程等方面带来的挑战和机遇。（2）评估MLIR作为可减少构建编译器成本的通用架构，通过描述各种用例，显示本文研究成果在未来编程语言、编译器、执行环境和计算机体系结构方面的研究和教学机会。本文还介绍了MLIR设计基本原理、结构和语义。

 

链接：https://zhuanlan.zhihu.com/p/336543238

 

6、MLIR：摩尔定律终结的编译器基础结构论文解读

 

本文是对MLIR的论文解读以及实践，这里的实践指的是把MLIR的要点在OneFlow Dialect中进行了对应，并解释了每个要点的实现方法以及这些要点的相关性，算是对MLIR学习过程的一个阶段总结。

 

链接：https://zhuanlan.zhihu.com/p/469684807

 

7、多面体优化，Pipeline与深度学习编译器

 

之前的多面体优化是把模型当成一坨来优化，而在华为的工作中，把模型看作了层级很清楚的Pipeline，对每层分别做优化，这样生成的程序就有更好的并行性。当然，这篇论文更可贵的地方是提供了详细的完整的代码实现，真的可以落地到实际应用场景。

 

链接：https://zhuanlan.zhihu.com/p/274649577

 

8、AI编译优化--Dynamic Shape Compiler

 

本文主要介绍PAI团队在AICompiler中新上线的一套Dynamic Shape Compiler框架，作为AICompiler技术栈中原有的Static Shape Compiler框架的重要补充。

 

链接：https://zhuanlan.zhihu.com/p/305546437

 

9、关于OneFlow深度学习框架的技术合订本

 

2021这一年，OneFlow持续向开发者分享了近60篇技术内容。它们主要包括深度学习框架解析、最新技术实践、行业趋势观点，技术创新的产生和发展，以及OneFlow开发者的程序人生故事。我们相信，这些内容能让读者更好地了解深度学习框架和相关AI技术，更重要的是促进社区的各种思维和观点的碰撞，激发出更好的技术创新。

 

链接：https://mp.weixin.qq.com/s/bNiDXieGZncvrMtHkMyIzg

内容中包含的图片若涉及版权问题，请及时与我们联系删除