1、OneFlow v0.6.0 正式发布

 

OneFlow v0.6.0 正式发布。本次版本更新包括框架、模型和 OneFlow-ONNX 三大部分，主要有：1、性能提升，包括静态图、动态图、算子性能、显存占用等方面；2、新增大量常用算子；3、完善静态图和 ConsistentTensor 功能；4、支持 OneFlow 作为 Nvidia Triton 的后端提供 Serving 功能；5、实现丰富的视觉预训练模型，与 torchvision、timm 对齐；6、实现更加完善的 OneFlow-ONNX 转换功能

 

链接：https://mp.weixin.qq.com/s/M4GEQG8d4QwvoUFI461pKQ

 

2、生力军入场，编译器大神Chris Lattner下海创业

 

Modular AI 是编译器大神 Chris Lattner 和连续创业者 Tim Davis 于今年 1 月联合创立的一家新公司，致力于为所有人重建人工智能基础设施。「我们正在汇集世界上最优秀的 AI 基础设施人才，以改善 AI 生产开发和部署。」

 

链接：https://mp.weixin.qq.com/s/bouNem1u6RYs6nJ1YGnSTw

 

3、深度学习训练框架综述——多机多卡通讯

 

随着模型越来越大，单卡的训练时间长达几周，甚至像 Google 的 GShard[1] 论文中都提出了 22.4 TPU Year 的概念（一个模型在一个 TPU 上训练需要 22.4 年……），快速得到一个 idea 的结果是无比重要的，如何加快整个训练过程就成为了一个必然的课题。

 

链接：https://zhuanlan.zhihu.com/p/367327698

 

 

4、动态图还是静态图，效率还是性能？

 

静态图——>动态图——>动静结合——>动静统一，但是动静统一中，是静态图为主还是动态图为主，未来还存在很大的不确定性，不管怎样，存在不确定性对新的框架来说总是好事。

 

链接：https://zhuanlan.zhihu.com/p/445953456

 

 

5、乘风破浪的PTM：两年来预训练模型的技术进展

 

那么，在近两年的时间里，诸多改进模型中，有哪些令人印象深刻的新模型？在那些表现突出的新模型中，是哪些因素导致它们的良好表现？预训练模型技术本身有重大的改动或创新么？或者，关于预训练模型，目前有哪些相对明确的结论？根据目前的技术发展水准，如何根据现有结论，来打造最强的预训练模型？

 

链接：https://zhuanlan.zhihu.com/p/254821426

 

 

6、在两张K40小破卡训练BERT-xlarge的宝藏trick

 

尽管大模型非常火热，但其昂贵的训练代价不得不令众多研究者望而却步。一方面目前GPU的显存容量有限，常用的显卡型号的显存也仅有12GB（K40，3060）、16GB（P100）、24GB（RITAN RTX）或32GB（V100），最高也不过40GB（A100），单卡难以支持数以亿计参数规模的稠密模型训练；另一方面GPU的价格又很昂贵，动辄上万元，绝大多数研究者无法负担大规模GPU集群的费用。在这种背景下，如何在有限的硬件条件下，支持更大规模的NLP模型训练，成为了非常迫切的需求。

 

链接：https://zhuanlan.zhihu.com/p/459491408

 

7、PyTorch迎来5岁生日

 

仅仅5年就获得巨大的成功，就连PyTorch创始人Chintala本人也没想到，无论是使用量、贡献者还是资金支持都超出了他的预料。

 

链接：https://mp.weixin.qq.com/s/acal4gHuUB7fC_6uwx6jnw

 

8、下一代AI框架长什么样？

 

考虑几个融合趋势（大数据和ML融合、训练-推理深度融合、稀疏多模融合、AI+Science），显然Deep Learning Frameworks（TF，Torch）是不够了，下一代AI框架长什么样？

 

https://www.zhihu.com/question/511906292/answer/2320882221

 

9、机器之心「2021-2022 年度AI技术发展回顾与趋势前瞻」系列直播开启！

 

2022 年 1 月 24 日（周一）至 1 月 28 日（周五）每晚 7 点至 9 点，共同探讨「通往第三代人工智能的理论之路如何走？」、「通用（大）模型的最后一公里」、「如何突破 AI 实践中的资源限制与壁垒？」、「构建元宇宙基础设施的 AI 技术」和「通向可信人工智能的技术路径」五个与 AI 技术人息息相关话题，洞察 AI 技术在「AI 算法理论」、「ML 模型架构」、「AI 算法工程化」及「热点 AI 应用技术」四大方面的发展趋势与潮水所向。

 

链接：https://mp.weixin.qq.com/s/AfZnp_MLOrt_uiicUZlg3w

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除