2021年1月26日

CSRankings年度更新，清华北大包揽AI领域前两名，CMU第三

全球院校计算机科学领域实力排名开源项目CSRankings，更新了2020-2021年的最新数据。最新排名显示： AI（含5项细分领域）排名中，清华大学排名第一，北京大学排名第二，CMU排名第三。

CSRankings（Computer Science Rankings）：是由马萨诸塞大学安姆斯特分校（University of Massachusetts Amherst）信息与计算机科学学院教授Emery Berger发布的基于研究指标（全球各机构的学者在各顶级学术会议上发表的论文）的全球顶尖计算机科学机构排名。它具体细分为4个大类（共26个小项）：AI人工智能、Systems系统、Theory理论和Interdisciplinary Areas跨学科领域。

其中在AI板块，主要有5个细分领域： - 人工智能（Artificial intelligence） - 计算机视觉（Computer vision） - 机器学习与数据采集（Machine learning & datamining） - 自然语言处理（Natural language processing） - 网页信息检索（The Web & information retrieval）

在全球领域AI综合排行榜中，如下表入选的中国高校有：清华大学第1名（蝉联），北京大学第2名，中国科学院第4名，上海交通大学第8名，香港中文大学第13名，浙江大学第16名，南京大学第18名。

而AI中的「Artificial intelligence」一项，排前10名的分别是：北京大学、中国科学院、清华大学、上海交通大学、南京大学、浙江大学、新加坡南洋理工大学、新加坡国立大学、CMU、新南威尔士大学。

微软等提出「 ZeRO-Offload 」技术，可在单个GPU上训练130亿参数的深度学习模型

前不久，谷歌发布了参数量为 1.6 万亿的语言模型 Swith Transformer，将 GPT-3 创下的参数量记录（1750 亿）推至新高。这些大模型的出现让普通研究者越发绝望：没有「钞能力」、没有一大堆 GPU 就做不了 AI 研究了吗？

在此背景下，部分研究者开始思考：如何让这些大模型的训练变得更加接地气？也就是说，怎么用更少的卡训练更大的模型？

为了解决这个问题，来自微软、加州大学默塞德分校的研究者提出了一种名为「 ZeRO-Offload 」的异构深度学习训练技术，可以在单个 GPU 上训练拥有 130 亿参数的深度学习模型，让普通研究者也能着手大模型的训练。与 Pytorch 等流行框架相比，ZeRO-Offload 将可训练的模型规模提升了 10 倍，而且不需要数据科学家对模型做出任何改变，也不会牺牲计算效率。

ZeRO-Offload 通过将数据和计算卸载（offload）至 CPU 来实现大规模模型训练。为了不降低计算效率，它被设计为最小化与 GPU 之间的数据往来，并在尽可能节省 GPU 内存的同时降低 CPU 的计算时间。因此，对于一个参数量为 100 亿的模型，ZeRO-Offload 可以在单个 NVIDIA V100 GPU 上实现 40 TFlops/GPU。相比之下，使用 PyTorch 训练一个参数量为 14 亿的模型仅能达到 30TFlops，这是在不耗尽内存的情况下所能训练的最大模型。ZeRO-Offload 还可以扩展至多 GPU 设置并实现线性加速，最多可在 128 个 GPU 上实现近似线性加速。

此外，ZeRO-Offload 还可以和模型并行一起使用，在一个 DGX-2 box AI 服务器上训练参数量超 700 亿的模型。与单独使用模型并行相比，这一参数量实现了 4.5 倍的规模提升。 论文地址：https://arxiv.org/pdf/2101.06840.pdf

IJCAI 2021投稿量公布：4204篇，相比去年下降10%

近日，作为IJCAI 2021大会的程序主席，南京大学人工智能学院院长周志华教授在朋友圈和微博上公布了本届大会（第30届国际人工智能联合大会）的论文投稿情况： 摘要提交 5534篇 完整论文提交 4204篇 直接拒稿（Desk Reject) 144篇 Summary reject评审开始 从下表IJCAI 历年的投稿数据中不难看出，这一投稿量相对2019年之前属于比较高的，但是相对于2020年的4717篇则是下降了10%，这也是近五年来IJCAI 论文投稿量首次出现同比去年下降的情况。

从表中也能看出IJCAI 历年的录用率逐年下降的趋势，2020年12.6%的录用率更是达到了史上最低最严格，这也是2020年AI顶会中录用率最低的大会。所以今年IJCAI 2021论文投稿量不升反降，可能就与去年严格的录用率有关:如果今年还是按照去年的录用率，则意味着大概只有530篇论文会被录用，剩下的3600余篇都将成为炮灰。

「沃森」摇篮之一IBM中国研究院被曝已经关闭

IBM全球12大研究机构之一、在中国最具影响力的研究机构——IBM中国研究院，目前被曝已经全面关闭。

经业内媒体求证，消息基本属实，「IBM 中国研究院已于近日关闭，但IBM中国开发实验室 、IBM 中国系统实验室和客户创新中心也在同一栋大楼里。IBM 未来在中国的研发布局，可能会以这些研发实验室和创新中心作为支点。」

IBM中国研究院又称IBM CRL，成立于1995年9月，它位于北京上地信息产业基地的西北角，坐落在中关村软件园内，是IBM在发展中国家设立的第一个研究中心。IBM CRL的主要研究方向有系统和网络、信息管理和协作、分布式计算和系统管理、下一代服务。在认知计算领域，IBM中国研究院最出名的成果，就是2011年诞生的「沃森」，它以IBM创始人Thomas J. Watson名字命名，是一个能够回答自然语言提出的问题的计算机系统。「沃森」研发过程有4年，全球有近30位研究员参与了开发，除了美国研究院，IBM的中国研究院、日本研究院、以色列研究院等也参与其中。

沃森是一个集高级自然语言处理、消息检索、知识表示、自动推理、机器学习等开放式问答技术的应用。据研究人员介绍，沃森每秒可以处理500GB的数据，相当于1秒阅读100万本书。2011年该系统在美国的电视问答节目Jeopardy!（危险之旅！）上击败了两名人类冠军选手，从此一战成名。

除了认知计算，IBM中国研究院的研究领域重点研究领域还有：行业解决方案、运算即服务、物联网。 不过，IBM的支柱领域或许没能带来预想的效果，沃森率先入局医疗却踏步不前，提出的「物联网3.0」也没能收获成果。随着国内互联网公司的崛起，IBM等很多外企在中国的角色也越来越边缘化。所以IBM中国研究院的关闭，这里有时代的原因，但可能也与IBM近年来的整体局面惨淡有关。

京东开源PyTorch人脸识别工具包FaceX-Zoo：覆盖最强模型，支持训练跑分

近年来，基于深度学习的人脸识别技术取得了重要进展。但是人脸识别模型的实际部署和深入研究都需要相应的公众支持。例如生产级人脸表示网络需要模块化的训练机制，以配合不同 SOTA 骨干网络、训练监督主题再到现实世界人脸识别需求。至于性能分析和比较，基于多个基准的大量模型也需要一个标准和自动化的评估工具。此外，人们希望能够出现一种以整体流水线形式部署的人脸识别公共基础。

今年 1 月，来自京东的研究人员面向人脸识别技术开发社区提出了全新的开源框架 FaceX-Zoo。依靠高度模块化和可扩展的设计，FaceX-Zoo 提供具备多种多种 supervisory head 和骨干网络的训练模块，以实现效果最优的人脸识别。此外，它还具备标准化评估模块，以便在大多数情况下测试模型效果。

代码链接：https://github.com/JDAI-CV/FaceX-Zoo

驭势科技完成超10亿元人民币融资 2021年1月，驭势科技（UISEE）宣布完成累计金额超10亿元人民币的新一轮融资，并获得国开制造业转型升级基金的战略注资。 驭势科技专注于全场景自动驾驶。这是国开制造业转型升级基金在自动驾驶领域的首笔投资。基于新一轮融资，驭势将加强“全场景、真无人、全天候”自动驾驶平台的关键技术研发，和产业界协同推动无人驾驶的大规模商业化进程。

内容中包含的图片若涉及版权问题，请及时与我们联系删除