一、项目

 

1、OneFlow v0.5.0正式上线：四大特性实现轻快上手，高效、易用从此兼得

 

9月27日，在中关村论坛国际技术交易大会上，一流科技创始人&CEO袁进辉宣布深度学习框架OneFlow v0.5.0正式上线GitHub，他重点介绍了OneFlow v0.5.0的四大特性：一行代码实现OneFlow与PyTorch切换、一段代码实现动态图与静态图转换、一致性视角实现单机和分布式无缝切换、一套系统支持各种并行模式。

 

链接：https://mp.weixin.qq.com/s/6ui3bqOjbI_uNpd3mNB6vg

 

2、OCR开源神器PaddleOCR再迎升级

 

从效果上看，PP-OCRv2 主要有三个方面提升：在模型效果上，相对于 PP-OCR mobile 版本提升超 7%；在速度上，相对于 PP-OCR server 版本提升超过 220%；在模型大小上，11.6M 的总大小，服务器端和移动端都可以轻松部署。

 

链接：https://mp.weixin.qq.com/s/48DrY8_BBTFJVbWNopHDig

 

3、QQ浏览器大模型「神舟」登顶CLUE

 

近日，腾讯 QQ 浏览器实验室研发的预训练模型「神舟」（Shenzhou）在 9 月 19 日的中文语言理解评测 CLUE 榜单上登顶，刷新业界记录，成为首个在中文自然语言理解综合评测数据上超过人类水平的预训练模型。

 

链接：https://mp.weixin.qq.com/s/PODShmOo0tg9cmchNhzvtw

 

二、论文

 

1、基于PyTorch，集合17种方法，南京大学等提出小样本算法库LibFewShot

 

近日，南京大学推理与学习研究组（Reasoning and Learning Research Group, R&L Group）联合澳大利亚伍伦贡大学、美国罗彻斯特大学开源了一个小样本学习算法库 LibFewShot。该库包含了 17 个 2017 年到 2020 年具有代表性的小样本学习算法，为小样本学习领域中算法对比采用统一框架、统一设置、实现公平对比等提供便利。关于 LibFewShot 的文章已经发布在 arXiv。

 

论文：https://arxiv.org/abs/2109.04898

Github：https://github.com/RL-VIG/LibFewShot

 

2、用TensorFlow实现ML模型并调优：每秒可做3亿次预测

 

来自原生程序化 DSP 公司 Zemanta 的数据科学总监 Davorin Kopič和工程师 Jan Hartman 展示了将在线广告生态系统中的大规模机器学习模型转换为 TensorFlow 框架的过程，并将在 TensorFlow 框架中实现的机器学习模型扩展到每秒超过 3 亿次预测。因此，该研究的主要内容是在 TF 中实现模型并使用各种优化技术以低延迟有效地为其提供服务。

 

论文：https://arxiv.org/abs/2109.09541

 

3、Facebook提出神经数据库架构

 

数据库系统是数据分析的主力，但它们需要一个预定义的模式。鉴于文本、图像和其他模式中可用数据量的增加，来自 Facebook 等机构的研究者提出了一种神经数据库架构实例，该方法能够对非结构化数据进行查询，此外，该方法还可以扩展到大型数据库上。

 

神经数据库：https://aclanthology.org/2021.acl-long.241.pdf

Github：https://github.com/facebookresearch/NeuralDB

 

三、观点

 

1、顶级AI学者邢波教授：机器学习缺乏清晰理论与工程框架，需重新思考评估方法及目标

 

作为一个新学科来说，SysML 是过去几年蛮重要的一个新生事物。原来没有被这么关注，现在有一批年轻的学者开始崭露头角，文武兼备，他们既会算法也会系统。这批新的人才的产生就是这股发展潮流的结果。这是我原来没有见过的。

 

链接：https://mp.weixin.qq.com/s/9JE9d-_GesjZ6yY6TnnbFQ

 

2、深度学习的回报递减，改进的成本正在变得不可持续

 

就像 Rosenblatt 在神经网络诞生之初所面临的情况一样，深度学习如今正受到可用计算工具的限制。面对对经济和环境造成破坏的计算扩展，我们必须要么适应深度学习的方式，要么面临进展缓慢的未来。

 

https://mp.weixin.qq.com/s/ugALCN-j6_rNaXROYjLNiQ

 

3、一个关于 TensorFlow 的悲剧故事

 

TensorFlow是一个很完善，且使用很广泛的框架。因此，当时我对自己说，不可能太糟糕。鉴于 Google 强大的工程师团队以及机器学习方面的专业知识，我以为相信他们准没错。然而，去年使用了一阵子 TensorFlow 之后，如今的我可以说这个框架的组织非常混乱、维护不善、方向不正确，而且代码中 bug 累累。以下是我遇到的一系列难题。

 

链接：https://mp.weixin.qq.com/s/-4HM272CzraKYydDKR99rg

 

4、深度学习框架量化感知训练的思考及OneFlow的解决方案

 

作者将PyTorch FX移植到OneFlow之后实现了自动量化感知训练动态图模型(在PyTorch和OneFlow中都称为nn.Module)。现在用户可以在自己构建的nn.Module基础上，修改很少的代码即可完成从nn.Module量化感知训练到用TensorRT将量化感知训练后的模型部署到GPU上运行的完整链路。

 

链接：https://mp.weixin.qq.com/s/N7O2dJdy7EzgUVu_TNG1Pg

 

5、智源出品 | 超大规模智能模型产业发展报告（附下载）

 

本报告将主要分为以下五部分内容。首先，报告将介绍大模型领域的技术发展情况和趋势。接着，报告将梳理目前已经出现的大模型产业落地模式，提出该模式诞生的条件、特点和优势。然后，报告将重点介绍目前大模型已经开展商业化的发展领域，包括国际和国内的落地领域和应用场景。最后，报告将用两章内容论述应用存在的问题和解决案例，并提出下一步工作建议。

 

链接：https://mp.weixin.qq.com/s/lrlPEv5uFzDIod9xGE2TLQ

 

6、智源《AI系统周刊》第5期

 

Cerebras发布可运行120万亿参数AI模型的CS-2芯片等。

链接：https://mp.weixin.qq.com/s/fxrLW8ngwD5mFNIars5S0A

 

四、活动

 

1、玩大模型，奖金50000元，是时候展示你真正的技术了

 

为了让更多用户体验使用各大框架训练大规模模型的不同，在2021 CCF大数据与计算智能大赛上，作为大赛合作方，OneFlow在先进系统赛道提交了“基于BERT的大模型容量挑战赛”赛题，本赛题旨在基于有限的显存资源将BERT模型的参数量尽可能提升，从而模拟实际的场景下普通用户进行诸如GPT-3这种大规模模型的训练过程。参赛者可选择任一深度学习框架参赛。欢迎各位开发者朋友报名切磋技艺，除了5万元单赛题奖金，还有CCF综合奖金等你来瓜分，获奖者还将获得CCF颁发的证书。

 

链接：https://mp.weixin.qq.com/s/RLLVvLJ7owA3zxxXXfb_IA

 

2、AI那么卷，怎能不会用CUDA实现卷积操作

 

为了帮助广大开发者深入了解和快速上手 CUDA编程，英伟达联合机器之心推出「CUDA编程实践」三期线上分享，通过英伟达专家的理论解读和实战经验分享，向读者展示如何使用 CUDA 快速完成图像处理、光线追踪、卷积操作等任务。10月11日20:00-21:30，系列分享第三期：CUDA 编程基础——利用CUDA实现卷积操作。

 

链接：https://mp.weixin.qq.com/s/GpsBKW4C_XmbzlVq0p0O8g

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除