1、AI框架如何帮助开发者提升精度调优效率

 

最近项目组在考虑AI框架(MindSpore)如何帮助模型开发者提升精度调优效率的问题，总结了一些思路供参考。

 

链接：https://zhuanlan.zhihu.com/p/353715732

 

2、PyTorch & MMCV Dispatcher 机制解析

 

Dispatcher，中文译为分派器，它的工作可以简单理解为只负责任务的分发，而不会参与到任务本身中来。但思考一下，如果这个团队的规模扩大，现在有三十位程序员，那这位项目经理可能就不得不加班工作了。这说明上述的 Dispatcher 方案不够优雅，那么有没有更优雅一点的方案呢？我们会在第三节注册 + 分发部分给大家介绍一种思路。

 

链接：https://zhuanlan.zhihu.com/p/451671838

 

 

3、OpenPPL 中的卷积优化技巧

 

本文将介绍 OpenPPL 目前开源的卷积算子实现方法，从算法层面介绍 OpenPPL 在 Tensor Core 上的设计方法和优化经验。不涉及 mma 指令、ldmatrix 指令等的使用技巧，比如 conflict-free 的数据搬运、shared memory 的数据排布等，相关知识可以参考 ptx 手册及英伟达官方的教程。

 

链接：https://zhuanlan.zhihu.com/p/450310581

 

4、以OneFlow为例探索MLIR的实际开发流程

 

这篇文档我将介绍一下OneFlow和MLIR是如何结合的，如何在OneFlow IR中新增一个图级别的Pass，OneFlow的Operation是如何自动变成MLIR 的Operation的以及为什么OneFlow IR能利用MLIR为计算带来加速等

 

链接：https://mp.weixin.qq.com/s/6XPggOMfCO0pseVyT1l_HA

 

5、OneFlow学习笔记：python到C++调用过程分析

 

本文以最最简单的relu这个op作为例子，来追溯一下在oneflow中从python端到C++中的大致调用过程，具体过程大概总结为python wrapper和C++ glue functor两部分，下面是两部分的具体细节。

 

链接：https://zhuanlan.zhihu.com/p/449989408

 

6、2021 AI技术盘点：预训练模型5大进展

 

预训练模型无疑是2021年的重点发展领域。年初的Switch Transformer开启万亿参数模型的研发热潮，DALL·E和CLIP的问世推动多模态预训练的发展，“悟道”系列模型成为国内首个突破万亿参数模型等等——层出不穷的预训练模型涌现，催生出超大规模智能模型的新兴研究领域。

 

链接：https://mp.weixin.qq.com/s/WPaI8D-8n97yfw8EbTHSjg

 

7、对大规模model training感兴趣，请问有相关推荐的文章吗？

 

最近微软DeepSpeed、Google的Switch Transformer、华为MindSpore、百度PaddlePaddle都在搞大模型，还有主打分布式的OneFlow，相关的算法、并行技术层出不穷，对大规模model training感兴趣，请问有相关好的论文推荐吗，比如谷歌的Gpipe、微软的pipedream之类的。

 

链接：https://www.zhihu.com/question/508671222/answer/2289267725

 

8、深度解析开源推荐算法框架EasyRec的核心概念和优势

 

我们推出一个全新的、一步到位的推荐建模框架，致力于帮助大家解决在推荐建模、特征构造、参数调优、部署等方面的问题，让大家少写代码，少干重复的没有意义的脏活累活(这些EasyRec都承包了)，少趟一些坑少踩一些雷(这些EasyRec都替你趟了)，让大家能够快速上线验证新的idea，提升推荐模型的迭代效率。

 

链接：https://zhuanlan.zhihu.com/p/449465443

 

9、准确、快速、内存经济，新框架MEST实现边缘设备友好的稀疏训练

 

美国东北大学王言治教授、林雪教授研究组与威廉玛丽学院任彬教授研究组共同提出了 MEST 稀疏训练框架，有望实现在边缘设备上的准确、快速以及内存经济的稀疏训练。

 

链接：https://arxiv.org/pdf/2110.14032.pdf

 

10、自动化所开源轻量易读易扩展分布式博弈学习训练框架MSAgent

 

中科院自动化所正式开源轻量易读易扩展的分布式博弈学习训练框架MSAgent，并基于此发布谷歌足球联盟训练基准AI，旨在支持大规模博弈学习训练，推动决策智能应用发展，发展博弈决策领域生态。

 

链接：https://github.com/CodeBot416/decision-ai

 

11、经逆向工程，Transformer「翻译」成数学框架

 

由 25 位研究者参与撰写的论文，尝试采用最原始的步骤逆向 transformer。

 

链接：https://mp.weixin.qq.com/s/AJqQNd-GTjF8_hzV0YLUyw

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除