1、DeepMind爆发史：决定AI高峰的“游戏玩家”｜深度学习崛起十年
很少有人会否认，过去十年，AI领域最耀眼的明星组织当属DeepMind，没有之一。在中文社区，关于DeepMind和Demis Hassabis背后的伟大的创业故事零碎不全。这次，OneFlow社区整理编辑了Demis Hassabis的最新公开演讲和官方播客，以他个人的第一视角自述DeepMind的过去、现在和未来，完备地呈现了那些大胆的组合式创新想法、远大的个人野心，冒险的勇气、必胜的信心以及即便失败也支持创新探索的环境。通过他的讲述，由此我们可以正视中国在AI创新创业领域的真正差距。
链接：https://mp.weixin.qq.com/s/3-pJmP6u0wnZyq_oQngZsg
2、Jeff Dean：深度学习的黄金十年
谷歌大牛 Jeff Dean 发表的《 A Golden Decade of Deep Learning: Computing Systems & Applications 》一文对此做了分析，文章重点关注三个方面：促成AI进步的计算硬件和软件系统；过去十年在机器学习领域一些令人兴奋的应用示例；如何创建更强大的机器学习系统，以真正实现创建智能机器的目标。
链接：https://mp.weixin.qq.com/s/v8sY38orAkaJU9cG7ibwpg
3、TensorFlow 2.9上线：oneDNN改进实现CPU性能优化，WSL2开箱即用
新版本亮点包括如下：oneDNN 的性能改进；DTensor 的发布，这是一种新 API，可用于从数据并行无缝迁移到模型并行；对核心库进行了改进，包括 Eigen、tf.function 统一以及对 Windows 的 WSL2 的新支持；还为 tf.function retracing 和 Keras 优化器发布了新的实验性 API。
链接：https://mp.weixin.qq.com/s/i5Kin4GSAvboEZeStAi8XQ
4、PyTorch宣布支持苹果M1芯片GPU加速：训练快6倍，推理提升21倍
通过与苹果 Metal 团队工程师合作，PyTorch 官方宣布已正式支持在 M1 版本的 Mac 上进行 GPU 加速的 PyTorch 机器学习模型训练。此前，Mac 上的 PyTorch 训练仅能利用 CPU，但随着即将发布的 PyTorch v1.12 版本，开发和研究人员可以利用苹果 GPU 大幅度加快模型训练。现在，人们可以在 Mac 上相对高效地执行机器学习工作，例如在本地进行原型设计和微调。
https://mp.weixin.qq.com/s/UjnDVacH-6kSadPOnO32lQ
5、一块英伟达3090单挑180亿参数大模型，国产开源项目这回杀疯了
相比于PyTorch和业界主流的DeepSpeed方法，提升参数容量能达到10多倍。而且这种方法完全开源，只需要几行代码就能搞定，修改量也非常少。
链接：https://mp.weixin.qq.com/s/7Z0M71-mO54CgBtqBeMv4A
6、这个GitHub 20000+ Star的OCR项目迎来四大重磅升级
本次 PaddleOCR 最新发版，带来四大重磅升级，包括如下：发布超轻量 OCR 系统 PP-OCRv3：中英文、纯英文以及多语言场景精度再提升 5% - 11%！发布半自动标注工具 PPOCRLabelv2：新增表格文字图像、图像关键信息抽取任务和不规则文字图像的标注功能。发布 OCR 产业落地工具集：打通 22 种训练部署软硬件环境与方式，覆盖企业 90% 的训练部署环境需求。发布业界首个交互式OCR开源电子书《动手学OCR》，覆盖OCR全栈技术的前沿理论与代码实践，并配套教学视频。
链接：https://mp.weixin.qq.com/s/PLUSybv4Q8QAZZLG_kjSSg
7、OneFlow如何做静态图的算子对齐任务
本文的主要目的则是介绍 OneFlow 如何完成 Graph 模式下算子的测试任务。目前为止，OneFlow v0.7.0 已经新增所有 Op 在 nn.Graph 上做静态执行的单测支持，自动化单测功能完备。
链接：https://mp.weixin.qq.com/s/01tZRJIpnIIkVgZaS1_HKw
8、面向 Tensor Core 的算子自动生成
本文主要参考《Automatic Kernel Generation for Volta Tensor Cores》[2]，结合自己的理解，介绍多面体模型下面向（Volta 架构下的）Tensor Core 的 GEMM 算子自动生成流程。
链接：https://zhuanlan.zhihu.com/p/502935328
9、DeepMind「通才」AI智能体Gato来了，多模态、多任务，受大语言模型启发
受大规模语言建模的启发，Deepmind 应用类似的方法构建了一个单一的「通才」智能体 Gato，它具有多模态、多任务、多具身（embodiment）特点。Gato 可以玩雅达利游戏、给图片输出字幕、和别人聊天、用机械臂堆叠积木等等。此外，Gato 还能根据上下文决定是否输出文本、关节力矩、按钮按压或其他 token。
链接：https://mp.weixin.qq.com/s/iom-Lu9ORZftw7lIt-KVvw
10、Hugging Face创始人亲述：一个GitHub史上增长最快的AI项目
Hugging Face，这家以emoji“抱抱脸”命名的开源创业公司，以一种连创始团队不曾预料的速度成为了AI开源社区的顶级“网红”。目前，Hugging Face模型库在Github上获得了超过62,000个Star，14,000次forks，代码贡献者超1200人，每月被安装超100万次。很多人好奇Hugging Face为何能一炮而红？凭什么受到资本青睐？
链接：https://mp.weixin.qq.com/s/ZmuAKqStceVcNknECEUT7Q
11、Global Tensor和实习总结｜OneFlow学习笔记
为了简化分布式训练，OneFlow 提出了全局视角（Global View） 的概念，在全局视角下，可以像单机单卡编程，进行分布式训练。在 OneFlow 的设计中，使用 Placement、SBP 和 SBP Signature 来实现这种抽象。其中，Global Tensor 是为了能够满足 Global View 所需抽象的一种 Tensor。本文重点讨论了 Global Tensor 的全局视角与物理视角的映射。
链接：https://mp.weixin.qq.com/s/-fyFu2mFqAwJceIcu0vlSw
12、五年ML Infra生涯，我学到最重要的3个教训
近期，ML/AI Infra行业的发展引发了业内人士的热烈讨论。其中，硅谷创业公司Bluesky创始人Mingsheng Hong分享了他在这一领域的心路历程，总结了ML Infra发展的经验教训。他本人此前曾在Google的Data Infra工作，而后转向ML Infra，2022年初，他和Zheng Shao一起创立Bluesky Data （getbluesky.io），再度回归Data Infra。
链接：https://mp.weixin.qq.com/s/5XeIimiag-AFyjAf1pWtgQ
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢