一、最新

 

1、ByteTrack: 通过连接每个检测框的多目标跟踪

 

沿着多目标跟踪（MOT）中tracking-by-detection的范式，提出了一种简单高效的数据关联方法BYTE。 利用检测框和跟踪轨迹之间的相似性，在保留高分检测结果的同时，从低分检测结果中去除背景，挖掘出真正的物体（遮挡、模糊等困难样本），从而降低漏检并提高轨迹的连贯性。BYTE能轻松应用到9种state-of-the-art的MOT方法中，并取得1-10个点不等的IDF1指标的提升。基于BYTE我们提出了一个跟踪方法ByteTrack，目前位居MOTChallenge榜单第一。

 

论文: http://arxiv.org/abs/2110.06864；

代码: https://github.com/ifzhang/ByteTrack

 

2、用于定量建模有机化学反应的深度主动学习框架DeepReac+

 

在这项工作中，作者开发了首个用于定量建模有机化学反应的深度主动学习框架DeepReac+。该框架借助图神经网络，直接将反应组分的二维分子结构作为输入, 端到端的学习与任务相关的反应表征，适用于不同的反应机理、预测目标和实验平台。而且，通过结合精心设计的主动学习(Active Learning)策略，该框架只需要用少量的训练样本就能得到最佳预测性能以及快速确定最优反应条件，可以为高通量合成反应的实验人员节省大量的成本和时间。

 

链接：https://doi.org/10.1039/D1SC02087K

 

3、“孟子模型”开源

 

它由AI大牛周明率队打造，以十亿参数完成此前百亿、千亿参数模型创造的纪录，打破近年来CLUE榜单被腾讯、搜狗、华为、阿里达摩院轮番霸榜的格局。可用于新闻分类、文案生成。

 

链接：https://mp.weixin.qq.com/s/y2ku7J_lEDPUkarXw6nwZQ

 

4、基础模型产业发展路在何方？李飞飞等共话基础模型未来趋势

 

参加本次研讨的有：斯坦福大学教授李飞飞、斯坦福大学教授Chris Manning、华盛顿大学教授、AI2研究院高级研究经理Yejin Choi、斯坦福大学副教授Percy Liang、斯坦福大学助理教授马腾宇、香港科技大学教授Pascale Fung、OpenAI联合创始人兼首席科学家Ilya Sutskever等。

 

https://mp.weixin.qq.com/s/QM0-SXTY-tVIac2zoGPruQ

 

二、DL框架

 

1、PyTorch1.10发布：ZeroRedundancyOptimizer和Join

 

近日，PyTorch1.10版本发布，这个版本在分布式训练方面正式发布了ZeroRedundancyOptimizer，对标微软在DeepSpeed中发布的ZeRO，它可以wrap其它任意普通优化器如SGD和Adam等，主要是实现optimizer state在DDP训练过程中切分，从而减少每个节点（进程或者设备）的显存使用。此外，这个版本也发布了Join，这个是一个上下文管理器，用来处理分布式训练中的不均匀样本，DDP和 ZeroRedundancyOptimizer是支持这项功能的。

 

链接：https://mp.weixin.qq.com/s/B9e7AOdNMs-wu7Ur-1pGwQ

 

2、基于OneFlow实现Unfold、Fold算子

 

darknet版本(Caffe同款)是比较直观的帮助新手入门的img2col算法。

链接：https://mp.weixin.qq.com/s?__biz=MzU5ODY2MTk3Nw

 

3、用OneFlow实现数据类型自动提升

 

类型提升是一个我们不经意间会使用的一个操作，如果没有正确处理输出的数据类型，则可能导致结果溢出，出现错误的结果。

 

链接：https://mp.weixin.qq.com/s?__biz=MzU5ODY2MTk3Nw

 

4、MegEngine 架构系列：静态内存分析

 

通过静态内存优化，模型占用的内存空间显著减小。

 

链接：https://zhuanlan.zhihu.com/p/423688020

 

5、ONNX模型格式分析

 

ONNX(Open Neural Network Exchange)，开放神经网络交换，是一种模型IR，用于在各种深度学习训练和推理框架转换的一个中间表示格式。在实际业务中，可以使用Pytorch或者TensorFlow训练模型，导出成ONNX格式，然后在转换成目标设备上支撑的模型格式，比如TensorRT Engine、NCNN、MNN等格式。ONNX定义了一组和环境，平台均无关的标准格式，来增强各种AI模型的可交互性，开放性较强。

 

链接：https://zhuanlan.zhihu.com/p/425232454

 

6、从零开始学深度学习编译器（11）：初识MLIR

 

这篇笔记是对MLIR的初步印象，并不深入，适合想初步了解MLIR是什么的同学阅读，后面会继续分享MLIR的一些项目。

 

链接：https://zhuanlan.zhihu.com/p/423824931

 
三、活动

 

1、基于BERT的大模型容量挑战赛

 

随着训练数据规模以及显卡算力的提升，GPT3等大模型应运而生，但大模型所占用的显存等资源较大，导致对大模型进行训练有着极高的训练门槛。因此，本赛题旨在考察在有限的硬件资源的情况下训练更大的模型以期降低实际训练大模型时的硬件门槛。此次比赛选用的模型为NLP的模型BERT，因为其模型的大小可以由参数量（hidden_size）指标来衡量，参赛者通过在固定baseline的情况下调节参数量来模拟实际业务场景下的大模型。

https://mp.weixin.qq.com/s/mbWqJf23ibvCiTE_9LOEtQ

 

2、重磅！AI基础软件峰会开启

 

AI基础设施软件技术横跨深度学习算法、编程语言、编译器、数据库、分布式系统、高性能网络和AI芯片等多个前沿领域，也是当前学术界和产业界共同感到兴奋的新领域。2021年10月30日，由DataFun主办的DataFunSummit：AI基础软件架构峰会如约而至，本次峰会由阿里云林伟老师，腾讯潘欣老师，一流科技袁进辉老师精心策划而来，将全程直播！

 

链接：https://mp.weixin.qq.com/s/lU36ZW8Nuwx1Le8vzwHmIA

 

3、2021全球C++及系统软件技术大会

 

11月25-26日，2021全球C++及系统软件技术大会将在上海万豪虹桥大酒店盛大举办。汇聚全球技术专家，提供最具专业，实践性的主题分享，探讨系统级软件技术领域的最佳工程实践和前沿方法,始终是大会最具吸引力的地方。

 

链接：https://mp.weixin.qq.com/s/-5SCukImLxn2Yy8KosxmFg

内容中包含的图片若涉及版权问题，请及时与我们联系删除