导读 为了帮助中国人工智能科研、从业者更好地了解全球人工智能领域的最新资讯,智源研究院编辑团队本周整理了第 57 期《智源社区AI周刊》,从学术(论文和新思想、学术会议等),行业和政策(技术产业政策、项目基金申请、技术投融资等),人物(学者的人事变动和获奖情况)、数据(数据集),工具(新工具和应用推荐),求职(职场研究报告等)等诸多角度,鸟瞰过去一周人工智能领域值得关注的动态。

过去一周(2021/01/18~2021/01/24),值得关注的内容有以下3方面:

一、1月18日,CVPR 2021的评审结果出炉。根据CVPR 2021 程序chairman、FAIR研究科学家Georgia Gkioxari近日在推特上的发文数据:今年共有7015篇有效提交论文,每篇论文都至少有3个评审结果,所有论文加起来总共有21603个评审结果。今年的投稿数相比去年增加了19.6%。但有记者调查了最近两天国内外的社交平台发现,作为谷歌学术指标排行榜第一的AI顶会,本届CVPR公布的评审意见,遭到了很多投稿作者的不满。(详情参见本周报“会议”栏目)

二、由中国科学院、中国工程院主办,中国科学院学部工作局、中国工程院办公厅、中国科学报社承办,腾讯集团发展研究办公室协办的中国科学院院士和中国工程院院士投票评选的2020年中国十大科技进展新闻、世界十大科技进展新闻,2021年1月20日在京揭晓。在中国十大科技进展中,和AI相关的一项是:机器学习模拟上亿原子:中美团队获2020高性能计算应用领域最高奖项戈登贝尔奖。2020年11月19日下午,由中国科学院计算技术研究所贾伟乐副研究员、中国科学院院士鄂维南、北京大数据研究院张林峰研究员以及智源青年科学家、北京应用物理与计算数学研究所副研究员王涵所在团队等合作者们,共同完成的应用成果获得国际高性能计算应用领域最高奖——戈登贝尔奖。该项工作在国际上首次采用智能超算与物理模型的结合,引领了科学计算从传统的计算模式朝着智能超算的方向前进。该成果通过高性能计算和机器学习将分子动力学极限提升了数个量级,达到了上亿原子的体系规模,同时仍保证了「从头算(ab initio)」的高精度,且模拟时间尺度较传统方法至少提高1000倍。(详情参见本周报“应用”栏目)

三、近日,图灵奖得主、“贝叶斯网络之父”Judea Pearl在Twitter上分享了一篇新论文“What are the most important statistical ideas of the past 50 years?”这篇论文由哥伦比亚大学统计学教授Andrew Gelman和阿尔托大学计算机科学系副教授Aki Vehtari所著,他们根据自己的研究和文献阅读经验总结出了过去半个世纪以来最重要的8个统计思想,并表示:“它们是独立的概念,涵盖了统计方面不同的发展。这些思想都在1970年前的理论统计文献和各个应用领域的实践中就已经出现。但是在过去的五十年中,它们各自已经发展到足以成为新事物的程度。”(详情参见本周报“教程”栏目)

下面是各个要点的详情介绍。

论文推荐

UCL人工智能中心|基于神经链预测器的复杂QA Complex Query Answering with Neural Link Predictors 神经链预测器对于识别大规模知识图谱中的缺失边非常有用。然而,如何使用这些模型来回答一些领域中出现的更复杂的查询,例如仍然不清楚如何使用逻辑连接、析取和存在量词的查询,同时考虑到缺少的边。在这项工作中,作者提出了一个框架,有效地回答复杂的查询不完整的知识图。作者将每个查询转化为一个端到端的可微目标,其中每个原子的真值由预先训练的神经链预测器计算。然后,作者分析了优化问题的两种解决方案,包括基于梯度和组合搜索。在文中的实验中,作者提出的方法比最先进的方法(对数百万个生成的查询进行训练的黑盒神经模型)产生更精确的结果,而不需要对大量不同的复杂查询进行训练。使用数量级较少的训练数据,作者得到的相对改善幅度从8%到40%不等命中跨包含事实信息的不同知识图。最后,作者证明了用为每个复杂查询原子确定的中间解来解释该模型的结果是可能的。 论文下载

图神经网络 | 图学习的统一生成模型算法:标签传播、图卷积和组合 A Unifying Generative Model for Graph Learning Algorithms: Label Propagation, Graph Convolutions, and Combinations 作者利用顶点之间和顶点之间的属性相关性,为节点属性的数据生成过程开发了一个马尔可夫随机场模型,该模型有效的将标签传播和图形神经网的相关算法统一融合起来。顶部行为高斯MRF框架下的数据,中间行为带标签的图形数据,底部行为属性图形数据。 高斯MRF图中的每个竖线连接一组成对相互作用的变量,对于每种类型的数据,模型根据未知标签的条件期望导出学习算法,从而给出独立同分布数据的线性回归、标签图数据的标签传播和属性图数据的线性图卷积。 此外,作者对基于特征和观察到的标签的未知标签的期望混合生成的算法,顺利结合了标签传播和图神经网络的原理,将二者统一起来。 论文下载

英国边山大学 & AAAI2021 | 用于细粒度视觉分类的上下文感知注意池(CAP) Context-aware Attentional Pooling (CAP) for Fine-grained Visual Classification 深度卷积神经网络在挖掘有区别的物体姿态和部位信息进行图像识别方面表现出很强的能力。对于细粒度识别,对象或场景的上下文感知丰富特征表示起着关键作用,因为它在同一子类别中表现出显著的差异,在不同子类别之间表现出微妙的差异。然而,要找到完全体现对象/场景特征的细微变化并不容易。为了解决这个问题,作者提出了一个基于上下文感知的注意池,它可以通过子像素梯度有效的捕获细微变化,并学会参与信息性积分区域及其在区分不同子类别时的重要性,而无需边界框和/或可区分的零件注释。同时,作者还引入了一种新的特征编码方法,通过考虑整体区域的信息含量与其空间结构之间的内在一致性来捕捉它们之间的语义相关性。作者认为他们的方法简单但非常有效,可以轻松地应用于标准分类骨干网的顶部。实验结果表明文章提出的方法在多个数据集上都取得了最好的结果。 论文下载

清华大学 | 面向数据稀缺领域的知识蒸馏增广学习 Learning to Augment for Data-Scarce Domain BERT Knowledge Distillation 尽管诸如BERT之类的经过预训练的语言模型在各种自然语言处理任务中均取得了令人满意的性能,但要在实时应用中进行部署,它们的计算量很大。一种典型的方法是采用知识蒸馏将这些大型的预训练模型(教师模型)压缩为小学生模型。但是,对于缺少训练数据的目标领域,教师几乎无法将有用的知识传递给学生,这会导致学生模型的性能下降。为了解决这个问题,作者提出了一种通过学习跨域操纵方案来学习针对数据稀缺域BERT知识扩充的方法,该方案借助资源丰富的源域来自动增强目标。具体而言,所提出的方法生成从目标数据附近的平稳分布中获取的样本,并采用强化选择器来根据学生的表现自动优化扩增策略。大量的实验表明,该方法在四个不同的任务上明显优于最新的基准,并且对于数据稀缺的领域,压缩后的学生模型甚至比原始的大型教师模型具有更好的性能,参数更少。 论文下载

UC Berkeley | 面向基于模型视觉规划的自监督功能距离 Model-Based Visual Planning with Self-Supervised Functional Distances 一个多面手智能体必须能够在其环境中完成各种各样的任务,一个有吸引力的做法是根据目标观察。然而,利用强化学习来学习目标达成策略仍然是一个具有挑战性的问题。基于此,作者提出了一种基于模型的视觉目标达成的自监督方法,利用视觉动态模型和由无模型强化学习学习到的动态距离函数。该方法完全用离线未标记数据进行学习,可扩展到大型和多样化的数据集。由于结合了预测模型和习得的动态距离的优势,预测模型可以为规划近程行动提供有效的预测,而动态距离可提供有用的规划成本,捕捉到较长程目标的距离。实验表明,该方法比利用其他奖励定义的基于模型的规划方法以及纯粹的无模型方法更有效地执行目标达成任务。 论文下载

观点

JAIR发表最新研究:超级人工智能,可能从理论上就无法控制 在本月初发表在AI领域顶刊《人工智能研究杂志》(JAIR)上的一篇文章中,马德里自治大学、马克斯-普朗克人类发展研究所等机构的研究者认为,由于计算本身固有的基本限制,人类可能无法控制超级人工智能。他们表示,任何旨在确保超级人工智能无法伤害人类的算法都必须首先模拟机器行为以预测其行动的潜在后果。如果超级智能机器确实可能造成伤害,那么此类抑制算法(containment algorithm)需要停止机器的运行。然而,科学家们认为,任何抑制算法都不可能模拟 AI 的行为,也就无法百分之百地预测 AI 的行为是否会造成伤害。抑制算法可能无法正确模拟 AI 的行为或准确预测 AI 行动的后果,也就无法分辨出这些失败。进一步的,按照科学家们的观点,我们甚至连自己是否已经创造了超级智能机器都不知道——这是可计算理论中莱斯定理的一个推论,该定理指出递归可枚举语言的所有非平凡(nontrival)性质都是不可判定的。从本质上来说,我们不能仅通过观察程序本身,就知道程序可能会输出什么。 JAIR

行业与政策

中国科协发布《“科创中国”三年行动计划(2021—2023)》 为更好促进科技经济深度融合,中国科协在2021年1月18日下午举行的2020“科创中国”年度工作会议上,正式发布《“科创中国”三年行动计划(2021-2023年)》。该行动计划确定实施四类23项重点任务,打造“科创中国”品牌增值版的目标。此外,“科创中国”三年行动计划还明确提出三类具体目标:打造资源共享平台上,2021年,实现系统内资源“应连尽连”;2022年,重点拓展外部资源对接协同;2023年,重点开展数据挖掘与应用增值服务,推动创新主体、资源要素优化配置。 中国科协

全球融资金额超45亿美元,AI助力药企掀起创新热潮|2020年盘点 随着人工智能浪潮的兴起,AI也被用于提高药物研发效率,新药的设计、发现、研发过程得到缩短,成本也相应降低。“AI+药物研发”的方式多种多样,其核心是运用NLP算法对海量的数据库扫描,识别新颖药物、药物基因和其他与治疗有关的联结,进而寻找潜在的药物新分子。此外,AI还可以用于对药物结构、疾病病理生理机制、现有药物的功效、显微镜下的样本观察等等结果进行快速分析,大大提升新药发现的效率。2017年全球医药市场销售额已经突破12000亿美元,预计到2021年销售总额可达到14750亿美元,2012~2021年的年均复合增长率为4.9%。如此庞大而增长迅速的医药市场,也推动了“AI+制药“行业的发展。据不完全统计,截止到2020年10月,海内外”AI+制药“企业获得融资总额超45亿美元,国内公司累计融资总额超14亿美元。以深度学习为代表的人工智能技术,凭借其强大的计算能力加速医药研发,掀起了“AI+制药“的热潮,不仅诞生了众多新兴企业,还促进了传统制药大企在AI领域的探索。此外,IT巨头也尝试利用自身的互联网基础与平台优势进行技术布局,扩张业务版图,进入”AI+制药“的赛道。 36氪Pro

2020中国边缘计算产业研究报告 2020年,边缘计算随着5G、IOT、AI等相关技术演进越来引人瞩目,关于边缘计算的讨论也越来越多,但是涉及边缘计算的定义、边缘市场的规模、边缘技术的成熟度和边缘玩家的分布的系统性介绍却比较少,本文希望通过多角度分析,从边缘计算的定义、市场预测、技术架构和玩家分类等不同维度,对边缘计算进行系统性的盘点。 云头条

第四范式完成D轮融资45亿元 AI独角兽第四范式刚刚官宣完成D轮融资7亿美元(约45亿元),这是AI领域自2020年来的最大单笔融资。本轮融资后,第四范式计划将资金用于进一步加速重点产业布局,构建基于AI的企业级生态体系,培养AI尖端产业人才。据了解,本轮融资由博裕资本、春华资本、厚朴投资领投,并引入国家制造业转型基金、国开、国新、中国建投、中信建投、海通证券等战略股东,红杉中国、中信产业基金、高盛、金镒资本和方源资本等财务投资机构 量子位

人物

智源学者陈文光荣获2020年“CCF杰出贡献奖” 1月18日,中国计算机协会(CCF)发布公告,决定授予智源学者、清华大学陈文光教授2020年“CCF杰出贡献奖”,以表彰他为CSP的权威性、专业性做出的杰出贡献。“CCF杰出贡献奖”奖励对CCF有独特或重大贡献;就重大问题提出独到观点或建议被CCF采纳并产生良好效果;发起并组织CCF有影响力的新的系列学术会议;推动学会与其他组织合作,促进了CCF的发展;向学会提供大额捐赠或资助;有其他独特或重大贡献的个人或单位。该奖于2010年设立。陈文光,国内系统研究的领军人物之一,中国计算机学会副秘书长,曾任ACM中国理事会chairman、ACM中国操作系统分会ChinaSyschairman、ACM 通讯中文版主编等。 中国计算机学会

数据

大连理工构建大规模光场数据集 由于具有强大的三维信息捕捉能力,光场数据为显著性检测算法提供了更为有力的支持。但算法的能力取决于数据集构建的全面性、有效性、规模化和多样性,同时也取决于灵活高效的模型设计。为了促进这一领域的发展,来自大连理工的研究人员构建了大规模的多功能数据集,其中包含了102类目标、共4202个样本,可以有效支持基于RGB、RGB-D和光场数据的显著性检测算法。同时,研究人员还构建了基于对焦信息流和RGB信息流的非对称架构,实现了高效的显著性检测算法,并可将对焦信息流上的知识迁移到RGB信息流子模型上,在移动端上也能实现高帧率的显著性检测。 大连理工大学

代码

先增强后进行卷积:梯度提升遇到图神经网络 图神经网络(GNN)是功能强大的模型,已在各种图表示学习任务中取得了成功。 面对异构表格数据时,梯度提升决策树(GBDT)通常优于其他机器学习方法。 但是,对于具有表格节点特征的图,应该使用哪种方法? 先前的GNN模型主要集中在具有同质稀疏特征的网络上,并且如我们所示,在异构环境中次优。 在这项工作中,作者团队提出了一种新颖的体系结构,该体系结构可以联合训练GBDT和GNN以获得两者的最佳选择:GBDT模型处理异构特征,而GNN负责图结构。通过允许新树适合GNN的梯度日期,我们的模型受益于端到端优化。 通过与领先的GBDT和GNN模型进行广泛的实验比较,我们证明了具有表格特征的各种图形的性能均得到了显着提高。 法国巴黎Criteo AI实验室

图神经网络的异质图结构学习 近年来,异质图神经网络引起了广泛关注并应用在各种下游任务上。现有异质图神经网络模型通常依赖于原始的异质图结构并暗含着原始图结构是可靠的假设。然而,这种假设往往并不现实,异质图结构普遍存在噪声和缺失的问题。因此,如何为异质图神经网络学习一个合适的图结构而不是依赖于原始图结构是一个关键问题。为解决这一问题,本文首次研究了异质图结构学习问题,并提出了HGSL框架来联合学习适合分类的异质图结构和图神经网络参数。HGSL 通过挖掘特征相似性、特征与结构之间的交互以及异质图中的高阶语义结构来生成适合下游任务的异质图结构并联合学习 GNN参数。三个数据集上的实验结果表明,HGSL 的性能优于基线模型。 北京邮电大学

用于图像描述的双层级协作Transformer 目标检测网络提取的描述性区域特征在图像描述的最新发展中发挥了重要作用。但是,他们仍然因缺少上下文信息和细粒度的细节而受到批评,而相反,这是传统网格特征的优点。在本文中,我们介绍了一种新颖的双层协作Transformer(DLCT)网络,以实现这两种功能的互补优势。具体而言,在DLCT中,这两个功能首先由新型的双向自关注(DWSA)处理以挖掘其内在特性,同时还引入了“综合关系关注”组件来嵌入几何信息。 此外,我们提出了一种局域约束的交叉注意模块,以解决由这两个特征直接融合而引起的语义噪声,其中构建了几何对齐图以准确对齐和增强区域和网格特征。 厦门大学

教程

斯坦福最新《强化学习》2021课程,EmmaBrunskill主讲 要实现人工智能的梦想,就需要学会做出正确决策的自主系统。强化学习是这样做的一个强大范式,它与大量的任务相关,包括机器人、游戏、消费者建模和医疗保健。本课程将提供强化学习领域的充实介绍,学生将学习强化学习的核心挑战和方法,包括推广和探索。通过讲课、书面作业和编码作业的结合,学生将学习RL的关键思想和技术。作业将包括强化学习的基础知识以及深度强化学习——一个结合了深度学习技术和强化学习的极具前景的新领域。 斯坦福大学

最新《生成式对抗网络GAN逆转》综述论文 GAN逆转化的目的是将给定的图像逆映射到预先训练好的GAN模型的潜在空间,以便由生成器从反代码忠实地重建图像。GAN逆映射作为一种新兴的连接真实和虚假图像领域的技术,在使预先训练好的GAN模型如StyleGAN和BigGAN用于真实图像编辑应用中起着至关重要的作用。同时,GAN逆转化也为GAN的潜在空间的解读以及如何生成逼真的图像提供了思路。在本文中,作者对GAN逆转化进行了概述,并重点介绍了它最近的算法和应用。作者涵盖了GAN逆转化的重要技术及其在图像恢复和图像处理中的应用。此外,作者进一步阐述了未来方向的一些趋势和挑战。 arxiv

统计学权威盘点过去50年最重要的统计学思想,因果推理、bootstrap等上榜 近日,图灵奖得主、“贝叶斯网络之父”Judea Pearl在Twitter上分享了一篇新论文“What are the most important statistical ideas of the past 50 years?”这篇论文由哥伦比亚大学统计学教授Andrew Gelman和阿尔托大学计算机科学系副教授Aki Vehtari所著,他们根据自己的研究和文献阅读经验总结出了过去半个世纪以来最重要的8个统计思想,并表示:“它们是独立的概念,涵盖了统计方面不同的发展。这些思想都在1970年前的理论统计文献和各个应用领域的实践中就已经出现。但是在过去的五十年中,它们各自已经发展到足以成为新事物的程度。”他们认为,过去半个世纪中最重要的统计思想是:反事实因果推理,基于bootstrapping(自助抽样法)和基于模拟的推理,超参数化模型和正则化,多层模型,泛型计算算法(generic computation algorithms),自适应决策分析,鲁棒推理和探索性数据分析。 AI科技评论

新工具

新增功能+优化性能天枢平台新版本发布上线 之江天枢人工智能开源平台自去年上线开源后,一直保持着近90天一版本的快速迭代频率,各项性能指标持续优化提升,天枢开发团队正不断擦亮天枢平台“极致性能、至快至简”的铭牌。近日,之江天枢人工智能开源平台正式对外发布最新V1.2版本,新增了云端Serving(服务)、模型优化等重大功能模块,对模型炼知平台、深度学习训练框架、数据处理等已有系统进行了技术优化,大幅提升了各项性能。 之江实验室

微软亚研院发布开源AutoML工具NNI 2.0版本 NNI(Neural Network Intelligence)是微软亚洲研究院为研究人员和算法工程师量身定制的自动机器学习(AutoML)工具。在过去的两年中,NNI不断迭代更新,持续将最前沿的算法加入其中,加强对各种分布式训练环境的支持,目前NNI已在GitHub上获得了8.7K星,成为最热门的自动机器学习开源项目之一。近期,微软亚洲研究院发布了NNI 2.0版本,其中加入了对“探索性训练”框架Retiarii、基于掩码的模型压缩加速工具的支持,提供了利用Python发起实验与多种算力混合训练的能力,并简化了自定义算法的安装方法。 微软亚洲研究院

寒武纪首颗AI训练芯片亮相:7纳米制程,算力提升四倍,已规模化出货 1月21日,寒武纪思元290智能芯片及加速卡、玄思1000智能加速器在官网亮相,寒武纪表示该系列产品已实现规模化出货。思元290智能芯片是寒武纪的首颗训练芯片,采用台积电7nm制程工艺,集成460亿个晶体管,支持MLUv02扩展架构,全面支持AI训练、推理或混合型人工智能计算加速任务。相比寒武纪思元270芯片,思元290芯片实现峰值算力提升4倍、内存带宽提高12倍、芯片间通讯带宽提高19倍。新架构结合7nm制程,思元290可提供更优性能功耗比,以及多MLU系统的扩展能力。 机器之心

应用

谷歌 | 通过机器学习增强人像照明,使“普通”照片更好看 在人像摄影和电影拍摄过程中,光照扮演着十分重要的作用。为了实现更好的渲染和后期制作,需要估计出图像中人物所处的光照信息。受到投射阴影和高光反射线索的启发,谷歌研究人员提出了一种从任意光照条件下的单张RGB图像中学习出高动态全方位光照的技术手段,并通过不同环境光照下配对的人物照片对模型进行训练。实验显示,这一方法可以有效为多种肤色的人物照片恢复高性能的光线效果,在连续光照的作用下,也可将虚拟背景或者卡通人物添加到肖像照中来。轻量级的架构也使得其在移动端运行成为可能。 将门创投

基于门控图神经网络对共享单车停放进行动态管理 得益于便捷的骑行和灵活的停车位,公共自行车共享(DL-PBS)网络在许多国家变得越来越受欢迎。但是,冗余和低效用的站点浪费了公共城市空间和DL-PBS供应商的维护成本。在本文中,作者团队提出了一种自行车站动态规划(BSDP)系统,以动态提供DL-PBS网络的最佳自行车站布局。BSDP系统包含四个模块:自行车下车地点聚类,自行车站图建模,自行车站位置预测和自行车站布局建议。在自行车下车地点聚类模块中,候选自行车站点从大规模骑车轨迹记录的每个时空子集中聚类。在自行车站图建模模块中,基于聚类结果构建加权有向图模型,并对具有较低站台收益和效用的劣等站台进行过滤。然后,跨时间段的图形模型被组合以创建图形顺序模型。在自行车站位置预测模块中,GGNN模型用于训练图序列数据并在下一个周期动态预测自行车站。在自行车站布局推荐模块中,根据政府的城市管理计划对预测的自行车站进行了微调,以确保推荐的自行车站布局有利于城市管理,供应商收入和用户便利性。实际DL-PBS网络上的性能验证了所提出的BSDP系统的有效性,准确性和可行性。 湖南大学

“机器学习模拟上亿原子”入选“中国科技十大进展” 由中国科学院、中国工程院主办,中国科学院学部工作局、中国工程院办公厅、中国科学报社承办,腾讯集团发展研究办公室协办的中国科学院院士和中国工程院院士投票评选的2020年中国十大科技进展新闻、世界十大科技进展新闻,2021年1月20日在京揭晓。在中国十大科技进展中,和AI相关的一项是:机器学习模拟上亿原子:中美团队获2020高性能计算应用领域最高奖项戈登贝尔奖。2020年11月19日下午,由中国科学院计算技术研究所贾伟乐副研究员、中国科学院院士鄂维南、北京大数据研究院张林峰研究员以及智源青年科学家、北京应用物理与计算数学研究所副研究员王涵所在团队等合作者们,共同完成的应用成果获得国际高性能计算应用领域最高奖——戈登贝尔奖。该项工作在国际上首次采用智能超算与物理模型的结合,引领了科学计算从传统的计算模式朝着智能超算的方向前进。该成果通过高性能计算和机器学习将分子动力学极限提升了数个量级,达到了上亿原子的体系规模,同时仍保证了「从头算(ab initio)」的高精度,且模拟时间尺度较传统方法至少提高1000倍。 学术头条

会议

CVPR 2021评审出炉,评审员奇葩意见遭热议 1月18日,CVPR 2021的评审结果出炉。根据CVPR 2021 程序chairman、FAIR研究科学家Georgia Gkioxari近日在推特上的发文数据:今年共有7015篇有效提交论文,每篇论文都至少有3个评审结果,所有论文加起来总共有21603个评审结果。今年的投稿数相比去年增加了19.6%。但有记者调查了最近两天国内外的社交平台发现,作为谷歌学术指标排行榜第一的AI顶会,本届CVPR公布的评审意见,遭到了很多投稿作者的不满。比如,有人吐槽很多评审只是简单地用“我不相信”和“我不认为”来表示质疑,而没有提出论据,以及具体的参考工作。 AI科技评论

以上是《智源社区AI周刊》第57期的内容,智源研究院编辑团队将本着“提供真正内行的AI资讯”的目标,不断优化和完善我们的内容服务,各位读者们如有批评意见,或者好的建议,请不吝赐教发至:editor@baai.ac.cn。谢谢大家。

内容中包含的图片若涉及版权问题,请及时与我们联系删除