1、SynapseML：一个简单的、多语言的、大规模并行的机器学习库

 

SynapseML（以前称为 MMLSpark）是一个开源库，可简化大规模可扩展机器学习 (ML) 管道的创建。构建可用于生产的分布式 ML 管道可能很困难，即使对于最有经验的开发人员也是如此。组合来自不同生态系统的工具通常需要大量的“胶水”代码，而且许多框架在设计时并没有考虑到千机弹性集群。SynapseML 通过将多个现有的 ML 框架和新的 Microsoft 算法统一到一个可跨 Python、R、Scala 和 Java 使用的可扩展 API 中来解决这一挑战。

链接：https://microsoft.github.io/SynapseML/

论文：https://github.com/microsoft/SynapseML

 

2、如何超越数据并行和模型并行：从GShard谈起

 

GShard的论文最早于2020.6.30放在arXiv上，包括《GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding》，还有一篇更系统的系统论文《GSPMD: General and Scalable Parallelization for ML Computation Graphs》。文章内容主要包含两部分工作，一部分是并行API，一部分是Mixture of experts，比较有意思的是前一部分，我只讨论这部分，只介绍一些背景信息，以及从OneFlow里做过的类似工作来评价一下GShard还有哪些可改进的地方。只有把GShard放在上下文里去看，才能更清楚地看到它的好和不好。

 

链接：https://mp.weixin.qq.com/s/F8oPXPcvXq7Nvrmz6P-wvA

 

3、如何实现一个高效的Softmax CUDA kernel？OneFlow 性能优化分享

 

本文将会介绍OneFlow中优化的Softmax CUDA Kernel的技巧，并跟cuDNN中的Softmax操作进行实验对比，结果表明，OneFlow深度优化后的Softmax对显存带宽的利用率可以接近理论上限，远高于cuDNN的实现。

 

链接：https://zhuanlan.zhihu.com/p/341059988

 

4、项重写、平等饱和和深度学习编译器

 

本文不会涉及过多（任何？）theoretical的内容，不assume过多的background，简单地讲一讲term rewriting / equality saturation在DL compiler中的应用以及未来可能的发展。

链接：https://zhuanlan.zhihu.com/p/437972991

 

5、【从零开始学深度学习编译器16】MLIR ODS要点总结上篇

 

本篇文章将基于MLIR的ODS文档来讲解ODS中的一些要点，帮助我们更好的了解和上手MLIR。我会把官方文档中需要注意的点拆成一些小的要点。下面文章中提到的TableGen和ODS不做特别区分，ODS中的语法也就是TableGen语法。

 

链接：https://zhuanlan.zhihu.com/p/436927396

 

6、动手学MLIR 6 ：用DRR Pass做IR改写

 

上一节动手试验了使用C++定义OpRewritePattern的方式来做Pass改写，是一种命令式的方式。这一节采用声明式，基于TableGen的DRR(Declarative Rewrite Rule)，使用DRR的约束是Operation必须是ODS定义的。下面使用DRR来优化Reshape。

 

链接：https://zhuanlan.zhihu.com/p/432729917

 

7、GPU的演进历程

 

图形处理单元 (GPU) 为当今最快的超级计算机提供动力，是深度学习的主要平台，并为从自动驾驶汽车到机器人和智能相机的设备提供智能。它们还以实时帧速率生成引人注目的逼真图像。GPU 通过添加支持新用例的功能而不断发展。

 

链接：https://www.computer.org/csdl/magazine/mi/2021/06/09623445/1yJTrTqFnVu

 

 

8、Persia：基于深度学习的百万亿参数开放式混合扩展推荐系统

 

本文介绍了一种基于深度学习推荐系统训练框架。随着模型的嵌入层可以包含整个模型的99.99%以上大小，这是非常占用内存的；而其余的神经网络计算量越来越大。在本文中，作者通过谨慎的方式解决了这一挑战优化算法和分布式的协同设计系统架构。

代码：https://github.com/PersiaML/Persia

论文：https://arxiv.org/pdf/2111.05897.pdf

 

9、覆盖近2亿篇论文还免费！沈向洋旗下团队「读论文神器」登B站热搜

 

无意中发现B站上有个叫ReadPaper的在线论文阅读笔记神器冲上了热榜！ReadPaper由沈向洋博士创办的IDEA旗下团队研发，其收录了近2亿篇已知学科的论文，提供了在线检索、翻译、做笔记等功能，甚至还有大佬参与答疑，堪称本硕博科研必备。

 

链接：https://mp.weixin.qq.com/s/yQMrAp2hpyOK7P1AIDDb6w

 

 

活动

 

1、大模型技术论坛

 

大模型技术论坛，邀请了周明、车万翔、邱锡鹏、黄民烈、刘知远、段楠等著名学者担任特邀讲者，并邀请百度、百度等一线实践者，及多位优秀青年学生做前沿技术报告。

时间：2021年11月28日 09:00-17:00

直播：https://event.baai.ac.cn/activities/190

 

2、CCF BDCI大赛急速报名，OneFlow四大训练赛题等你来战

 

这次，聚焦业内备受关注的自动驾驶场景，OneFlow还提交了“人车目标检测、交通标志分类识别、交通灯识别、天气及时间分类”四大训练赛题，由云测数据提供真实场景下的数据集。四大赛题旨在鼓励参赛者发明和实现前沿算法，体验OneFlow深度学习框架的极致性能和易用性，帮助提升相应技术能力。目前四大赛题已开启报名，各赛题若无特别通知，永久开放。截止到2022年1月3日，排行榜前3名的队伍将会获得1个CCF会员名额+纪念奖牌（提交团队数大于10），排行榜前50名的团队将会获得平台发出的电子证书。欢迎报名切磋技艺。

 

链接：https://mp.weixin.qq.com/s/qqkRtG9zTafd9lSwzZyYDg

 

3、第21届中国计算机系统研讨会（ChinaSys）开启注册！

 

第21届中国计算机系统研讨会（The 21st ChinaSys Workshop）致力于促进中国计算机系统研究者和从业者的交流与协作，提升中国计算机系统研究的整体水平。它关注的领域包括：操作系统、虚拟化技术、分布式系统和网络、系统安全、移动嵌入式系统、云计算、多核和众核系统，以及程序设计语言、计算机系统结构和计算机系统之间的交互等。本次研讨会由ACM SIGOPS ChinaSys主办，厦门大学和中科（厦门）数据智能研究院承办，将于2021年12月3-5日在厦门举行。

 

链接：https://mp.weixin.qq.com/s/omPyIJBYwm9GNvsD_LT2kw

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除