一、论文

 

1、学习从C到x86的翻译：神经编译实验

 

在这项工作中，研究人员探索了神经编译、构建和评估 Transformer 模型，这些模型学习如何从 C 代码生成 x86 汇编程序。

链接：https://arxiv.org/abs/2108.07639

 

2、BN-NAS：具有批标准化(BN)的神经网络架构搜索

 

BN-NAS可以显著减少NAS中模型训练和评估所需的时间，并发现仅训练BN参数可以加速NAS的收敛速度，性能优于FairNAS等网络，代码即将开源。

 

论文链接：https://arxiv.org/abs/2108.07375

代码链接：https://github.com/bychen515/BNNAS

 

3、如何用数据并行训练万亿参数模型？

 

近期，Facebook发布了FSDP（Fully Sharded Data Parallel），这个是对标微软在DeepSpeed中提出的ZeRO，FSDP可以看成PyTorch中的DDP优化版本，本身也是数据并行，但是和DDP不同的是，FSDP采用了parameter sharding，所谓的parameter sharding就是将模型参数也切分到各个GPUs上，而DDP每个GPU都要保存一份parameter，FSDP可以实现更好的训练效率（速度和显存使用）。这背后的优化逻辑可以从谷歌和微软的论文中找到。 ​

 

链接：https://zhuanlan.zhihu.com/p/402232568

 

4、Maze强化学习框架

 

MazeRL 是一个面向应用的深度强化学习 (RL) 框架，用于解决现实世界的决策问题，愿景是涵盖 RL 应用的完整开发生命周期，从仿真工程到智能体开发、训练和部署。

 

1、https://enliteai.medium.com/maze-applied-reinforcement-learning-for-real-world-problems-e1ab6da1e167

https://github.com/enlite-ai/maze

 

 

二、观点

 

1、AlphaFold 2 对蛋白结构研究领域的冲击有多大，听听这五位专家怎么说

 

在「重大突破」「深远影响」等诸多形容词之后，作为从业者，有必要深入了解 AlphaFold 2 及相关结果究竟给我们带来了什么，DeepMind 团队有哪些地方值得借鉴，今后的计算生物学、结构生物学等相关研究路会怎么走。

 

链接：https://mp.weixin.qq.com/s/e-gD0SLVBcQLKI1-JzT1hQ

 

2、Codex的优势与局限

 

Codex不会取代人类程序员还有一个更根本的原因。编写代码只是编程的一小部分；程序员最重要的工作是理解问题，并将其转换为计算机可以理解的格式。正如OpenAI自己所说：“一旦程序员知道要构建什么，编写代码的行为可以被视为（1）将问题分解为更简单的问题，（2）将这些简单问题映射到现有代码。”

链接：https://betterprogramming.pub/i-beta-tested-openais-codex-and-the-results-are-spooky-good-e282a1874c79

 

3、动态调度的“诅咒”| 原有深度学习框架的缺陷③

 

本文从分配线程池这一关键问题出发，介绍了计算图调度机制，重点探讨原有框架使用动态调度的缺陷以及设置最优线程数的烦恼，并阐述了OneFlow实现的更优雅的方案。

链接：https://mp.weixin.qq.com/s/RCNzE4v50bWSosa0-YAnFA

 

4、端侧AI框架-MindSpore1.3 Lite的大更新

 

这个版本带来了全新的南向自定义能力，Delegate机制，针对微处理器的Micro方案，新增支持NNIE/NVIDIA GPU等硬件推理，完善控制流，支持流式执行，支持稀疏编码，端云联邦学习、性能更高的算子库等，给端侧AI带来更多的全新体验。

 

链接：https://zhuanlan.zhihu.com/p/401031236

 

5、可以让深度学习编译器来指导算子优化吗

 

既然Ansor是在人为指定的推导规则下启发式的生成高性能的Scheduler模板。那么这个算子生成的Scheduler模板是否可以反过来指导我们写程序呢？

 

链接：https://zhuanlan.zhihu.com/p/402445108

 

6、tvm schedule详细举例

 

本文列举了tvm.schedule当中的API，通过具体程序样例所生成的中间代码来详细说明它们的使用方法以及调度效果。

链接：https://zhuanlan.zhihu.com/p/94846767

 

 

三、活动

 

1、人工智能产业化之路何去何从？清华博士、一流科技CEO袁进辉在线分享

 

8月24日，量子位发起的「量子位·视点」CEO/CTO系列分享活动邀请了一流科技CEO袁进辉博士，将从“人工智能技术的能力和局限”、“人工智能在信息化浪潮中的角色和作用”两个角度，直播分享个人见解。

链接：https://mp.weixin.qq.com/s/kKlKPFqAflkjVCxGUlp63A

 

2、悟道之巅——AI创新应用大赛揭幕&发布会

 

今天上午9点，大赛召开线上发布会，智源学术副院长唐杰将介绍悟道竞赛情况和正式发布，同时公开最新悟道模型及API使用指南。对人工智能感兴趣的开发者将有机会亲身体验如何运用悟道2.0完成智能应用开发了——同时还有机会获得高达百万元的总奖金。

 

链接：https://baai.org/l/wudao

 

 

3、2021年秋季人工智能研究前沿研讨会

 

由上海市计算机学会人工智能专委会和华东师范大学人工智能研究所主办，华东师范大学模式识别与机器学习实验室、计算机学院和软硬件协同设计技术与应用教育部工程研究中心承办的“2021年秋季人工智能研究前沿研讨会”定于2021年8月28日下午在线上举行。

 

链接：https://mp.weixin.qq.com/s/1TxzSHqEQubGgILhhjGLAw

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除