导读
为了帮助中国人工智能科研、从业者更好地了解全球人工智能领域的最新资讯，智源研究院编辑团队本周整理了第21期《智源社区AI周刊》，从学术（论文和新思想、学术会议等），行业和政策（技术产业政策、项目基金申请、技术投融资等），人物（学者的人事变动和获奖情况），数据（数据集），工具（新工具和应用推荐），求职（职场研究报告等）等诸多角度，鸟瞰过去一周人工智能领域值得关注的动态。
在过去一周（2020/05/04~2020/05/10）左右时间，首先值得推荐的内容有以下3方面：
- 著名人工智能研究机构OpenAI近日更新了有关业内顶尖机器学习模型算法需求的报告，并得出最新结论：自2012年以来，在著名数据集ImageNet上训练一个图像分类系统所需的算力每16个月减少一倍。这一观点和OpenAI几个月前“最先进AI模型算力需求增长30万倍”的态度有了很大变化，其结论或许意味着人工智能在未来发展的过程中将不大可能受到算力瓶颈的掣肘。（详情参见本周报“行业与政策”栏目）
- 5月7日，学术出版巨头爱思唯尔（Elsevier）正式发布2019年中国高被引学者榜单。其中，计算机科学有165位学者入选。智源学术委员、北京大学高文，智源学者、清华大学唐杰，南京大学周志华，微软亚洲研究院刘铁岩，南开大学程明明，中国科学院谭铁牛等一众人工智能领域的“老面孔”都在其列。（详情参见本周报“人物”栏目）
- 在刚刚闭幕的人工智能顶会ICLR 2020上，华人学者的崛起令世人眼前一亮：华人作者参与论文数占比近60%。其中，智源学者、清华大学计算机系朱军教授团队发表了7篇论文，论文数位列ICLR 2020全球第二。那么，朱军团队在ICLR上硕果累累的背后，有哪些成功经验值得大家学习借鉴呢？同时在朱军看来，这次刚刚闭幕的ICLR，研究者们能看到哪些值得关注的AI研究新趋势呢？（详情参见本周报“经验”栏目）
下面是各个要点的详情介绍。
论文推荐
一个深度循环生存的无偏排序模型
A Deep Recurrent Survival Model for Unbiased Ranking
本文由上海交通大学发表于SIGIR 2020。位置偏差是信息检索中处理隐式但有偏差的用户反馈数据的关键问题。无偏排序方法通常依赖于因果关系模型，并通过反倾向加权消除用户反馈的偏差。这些方法虽然实用，但仍存在两个主要问题。首先，在推断用户单击时，上下文信息的影响常常被忽略。第二，只考虑了位置偏差，忽略了用户浏览行为引起的其他问题。本文提出了一个端到端的深度递归生存排序（DRSR），一个统一的框架来联合建模用户的各种行为，以1. 考虑排序列表中丰富的上下文信息；2. 解决隐藏在用户行为背后的问题，即，在没有任何点击的查询中挖掘观察模式，对不能真实反映用户浏览意图的跟踪日志进行建模。具体来说，本文采用递归神经网络来建模上下文信息，并估计用户在每个位置反馈的条件似然。然后，将生存分析技术与概率链式法则相结合，以数学方式恢复一个用户的各种行为的无偏联合概率。DRSR可以很容易地将点和成对的学习目标结合起来。对两个大型工业数据集的大量实验表明，该模型与最先进的技术相比，具有显著的性能增益。 论文下载
使用长远特征提升对抗性文本生成 Improving Adversarial Text Generation by Modeling the Distant Future
本文由杜克大学发表于ACL 2020。自回归文本生成模型通常侧重于局部的流畅性，在长文本生成过程中可能导致语义不一致。此外，自动生成具有相似语义的单词是具有挑战性的，而且手工编写的语言规则很难应用。本文考虑了一个文本规划方案，并提出了一个基于模型的模仿学习方法来缓解上述问题。具体来说，本文提出了一种新的引导网络来关注更长的生成过程，它可以帮助下一个单词的预测，并为生成器的优化提供中间奖励。大量的实验表明，该方法具有较好的性能。 论文下载
低维双曲知识图谱嵌入 Low-Dimensional Hyperbolic Knowledge Graph Embeddings
本文发表于ACL 2020。知识图谱嵌入通过学习实体和关系的低维表示来预测缺失的事实。知识图谱通常表现出层次结构和逻辑模式，必须在嵌入空间中保留这些模式。对于层次数据，双曲线嵌入方法已经显示出高保真和精简表示的前景。然而，现有的双曲线嵌入方法并不能解释知识图谱中丰富的逻辑模式。本文介绍了一类双曲线知识图谱嵌入模型，该模型同时捕获层次模式和逻辑模式。本文的方法结合了双曲线反射和旋转，并注意到模型的复杂关系模式。在标准知识图谱基准上的实验结果表明，本文的方法在低维平均倒数秩方面比以前的基于欧几里德和双曲线的方法提高了6.1%。 论文下载
学习误排序的模型以扰乱系统输出的排序 Transferable, Controllable, and Inconspicuous Adversarial Attacks on Person Re-identification With Deep Mis-Ranking
行人再识别系统（re-ID）无处不在，可以在不同摄像头拍摄的视频中精确地找出同一个人，但这种系统也很容易被对抗样本所欺骗，因此检验re-ID系统抵抗对抗攻击的鲁棒性非常重要。来自中山大学、广州大学和暗物智能的研究者们通过提出一种学习误排序的模型来扰乱系统输出的排序，从而检验当前性能最佳的re-ID模型的不安全性，为re-ID系统的鲁棒性提供了改进的方向。该论文已被CVPR大会接收为oral论文。 论文下载
精准推断用户习惯的迁移学习架构PeterRec Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation
本文发表于SIGIR 2020。推导迁移学习对计算机视觉和NLP领域产生了重大影响，但尚未在推荐系统广泛使用。虽然大量的研究根据建模的用户-物品交互序列生成推荐，但很少有研究尝试表征和迁移这些模型从而用于下游任务（数据样本通常非常有限）。 在本文中，研究者深入研究了通过学习单一用户表征各种不同的下游任务，包括跨域推荐和用户画像预测。优化一个大型预训练网络并将其适配到下游任务是解决此类问题的有效方法。但是，微调通常要重新训练整个网络，并优化大量的模型参数，因此从参数量角度微调是非常低效的。为了克服这个问题，研究者开发了一种参数高效的迁移学习架构“PeterRec”。 论文下载
观点
LeCun、Bengio预言：自我监督学习是让AI接近人类智能的关键
在4月26日至5月1日举行的国际表征学习大会ICLR 2020期间，深度学习三巨头中的Yoshua Bengio和Yann LeCun表示，自我监督学习可能会让AI在推理上更像人类，他们坦率地谈到了一些最新的研究趋势。监督学习需要在标记的数据集上训练人工智能模型，LeCun认为随着自我监督学习的广泛应用，监督学习的作用将越来越小。自监督学习算法不依赖注释，而是通过暴露数据各部分之间的关系，从数据中生成标签，这一步骤被认为是实现人类智能的关键。 学术头条
行业与政策
OpenAI：AI算法效率每16月翻番
在人工智能领域里，因为研究人员的努力，顶尖算法的效率提升速度超过了芯片中摩尔定律的速度。 著名人工智能研究机构OpenAI近日更新了有关业内顶尖机器学习模型算法需求的报告，并得出最新结论：自2012年以来，在著名数据集ImageNet上训练一个图像分类系统所需的算力每16个月减少一倍。 这一观点和OpenAI几个月前“最先进AI模型算力需求增长30万倍”的态度有了很大变化，其结论或许意味着人工智能在未来发展的过程中将不大可能受到算力瓶颈的掣肘。 机器之心
类脑芯片新创企业SynSense完成近亿元人民币A轮融资
让机器朝着更智能的方向更快进化？巨头与初创企业都在争夺下一波发展浪潮的机遇。由于边缘计算和5G网络等新技术更依赖于瞬时响应，数据中心固有的延迟和资源占用问题将变得愈发难以接受。在解决这个问题上，作为类脑智能的核心组成部分，一种名为“类脑计算”的新型计算范式受到更多关注。
类脑计算能够大幅提升数据处理能力和机器学习能力，能耗和体积却要小得多，或将引领计算机微型化和人工智能的下一阶段。IBM、英特尔、高通等巨头公司已经在该技术上押注多年。 近日，一家来自瑞士、背靠著名研究机构苏黎世大学及苏黎世联邦理工神经信息研究所的类脑芯片新创企业SynSense宣布已完成近亿元人民币A轮融资。该轮融资由和利资本领投，默克、中科创星、科沃斯、云丁、亚昌投资等跟投。 DeepTech深科技
人物
2019年中国高被引学者榜单出炉，周志华、唐杰等165位计算机学者入选
5月7日，学术出版巨头爱思唯尔（Elsevier）正式发布2019年中国高被引学者（Chinese Most Cited Researchers）榜单。中国高被引学者榜单从纯学术影响力的角度评选而来，被采用为软科中国最好大学排名中单项指标顶尖人才的重要参考，是学术界备受关注的榜单之一。该榜单基于Elsevier推出的、全球领先的同行评议摘要引文数据库Scopus进行评选。Scopus收录了全球5000多家出版商的超过24000种期刊（其中中国大陆期刊超过730本）、980多万篇学术会议论文、22万本书以及全球5大专利机构4400万条专利信息，覆盖自然科学、技术、工程、医学、社会科学、艺术与人文等学科。
本次榜单国内共有242个高校/科研单位/企业的2163位学者入选，他们分别来自材料科学、化学、计算机科学、物理学和天文学、医学、艺术和人文等38个学科。其中，计算机科学有165位学者入选。智源学术委员、北京大学高文，智源学者、清华大学唐杰，南京大学周志华，微软亚洲研究院刘铁岩，南开大学程明明，中国科学院谭铁牛等一众人工智能领域的“老面孔”都在其列。 AI科技评论
数据
Mapillary街景级序列数据集
该数据集为Mapillary街景级序列数据集：超过160万张图片，横跨六大洲30个主要城市，所有图像标注了序列信息、GPS地理定位及罗盘角信息。 Mapillary
The Big Bad NLP Database自然语言处理开放数据集
该数据集为自然语言处理开放数据集，包括英语、汉语、阿拉伯语、西班牙语等语料库。 The Big Bad NLP Database
代码
AR Cut & Paste：将周围环境对象拷贝到photoshop的工具
研究者对比了YOLO v4与EfficientDet，同等性能的情况下，速度是EfficientDet的2倍。此外，与YOLO v3相比，新版本的AP和FPS分别提高了10%和12%。 Github
Quant-Noise: 来自Facebook的新的模型量化压缩技术
AR Cut & Paste工具是一个AR+ML原型，借助它使用者可以从周围环境中拷贝固定对象，并粘贴在图像编辑软件中（Photoshop）。需要特别注意的是，这款工具只适用于Adobe Photoshop软件，未来可能支持处理不同的输出。 该原型拥有3个模块，分别是手机端 APP、本地服务器和目标检测及背景移除服务。其中目标检测和背景移除模型BASNet出自一篇CVPR 2019论文《BASNet: Boundary-Aware Salient Object Detection》，关于边界的显著性检测。其主要创新点在于损失函数的设计，使用了交叉熵、结构相似性损失、IoU损失的混合损失，使网络更关注边界质量，而不是像以前那样只关注区域精度。在单个GPU上能跑25 fps，在六种公开数据集上能达到SOTA效果。 机器之心
PixelMe：一键生成人脸像素图
日本开发者Sato neet自学人工智能技术，近日开发出网站PixelMe，可以将人像照片一键转换成像素画。Pixel-me使用pix2pix模型生成8-bit风格的肖像图。Pix2pix是一种基于GAN架构的风格转换模型，出自论文《Image-to-Image Translation with Conditional Adversarial NetWorks》，作者包括朱俊彦等。Pix2pix使用成对的图片数据，学习从一个图像到另一个图像的转换方式，并生成能够以假乱真的图像。 PixelMe
教程
智源青年科学家张新雨：从模型平均到集成学习、迁移学习
模型平均是统计学的前沿研究领域，旨在处理模型不确定性，通常比采用单个模型能得到更好的预测效果。张新雨在演讲中细致解析了模型平均的概念内涵和理论难点，并展望了它应用于AI集成学习、迁移学习研究的几个重要方向和挑战，可谓干货十足，为我们了解模型平均理论在人工智能算法领域的应用和趋势提供了一个系统清晰的知识技术进阶图谱。 [智源社区]https://mp.weixin.qq.com/s/JGdTXyAXKxZ9najyUcEiFQ)
探究预训练语言模型中的可迁移性
本探讨来自斯坦福大学。虽然探测是在预训练模型表示中识别知识的一种常见技术，但是尚不清楚这种技术是否能够解释像BERT这样在finetuning中端到端训练的模型的下游成功。为了解决这个问题，本文将探测与一种不同的可转移性度量进行比较：部分重新初始化的模型的微调性能的下降。该技术表明，在BERT中，对下游粘合任务具有高探测精度的层对这些任务的高精度来说既不是必要的，也不是充分的。此外，数据集的大小影响层的可移植性：一个人拥有的精细数据越少，BERT的中间层和后中间层就越重要。此外，BERT并没有简单地为各个层找到更好的初始化器；相反，层次之间的相互作用很重要，在细化之前重新排序BERT的层次会极大地损害评估指标。这些结果提供了一种理解参数在预训练语言模型中的可转移性的方法，揭示了这些模型中转移学习的流动性和复杂性。 斯坦福大学
小样本学习文献综述
机器学习在数据密集型应用中取得了很大成功，但在面临小数据集的情况下往往捉襟见肘。近期出现的小样本学习（Few-Shot Learning，FSL）方法旨在解决该问题。FSL利用先验知识，能够快速泛化至仅包含少量具备监督信息的样本的新任务中。 这篇论文对FSL方法进行了综述。首先，该论文给出了FSL的正式定义，并厘清了它与相关机器学习问题（弱监督学习、不平衡学习、迁移学习和元学习）的关联和差异。然后指出FSL的核心问题，即经验风险最小化方法不可靠。
基于各个方法利用先验知识处理核心问题的方式，该研究将FSL方法分为三大类：
数据：利用先验知识增强监督信号；
模型：利用先验知识缩小假设空间的大小；
算法：利用先验知识更改给定假设空间中对最优假设的搜索。
最后，这篇文章提出了FSL的未来研究方向：FSL问题设置、技术、应用和理论。 Github
新工具
深度学习训练工具Determined AI
这款深度学习训练平台，是由多年从事实践领域的专家，耗费三年时间构建完成的，他们的目标是帮助深度学习团队更快地训练模型，轻松共享GPU资源并有效协作。 Determined使深度学习工程师可以集中精力大规模构建和训练模型，而无需担心DevOps，或者为常见任务（如容错或实验跟踪）编写代码。 新智元
深度解析旷视MegEngine亚线性显存优化技术
亚线性显存优化方法由于较高的计算/显存性价比备受关注，旷视基于此，经过工程扩展和优化，发展出加强版的MegEngine亚线性显存优化技术，轻松把大模型甚至超大模型装进显存，也可以毫无压力使用大batch训练模型。 文章围绕深度学习框架MegEngine亚线性显存优化技术的工程实现和实验数据，从技术背景、原理、使用、展望等多个方面进行首次深入解读。 旷视研究院
CNN解释器：了解CNN的内部运行
这个名叫CNN解释器在线交互可视化工具，把CNN拆开了揉碎了，告诉小白们CNN究竟是怎么一回事，为什么可以辨识物品。它用TensorFlow.js加载了一个10层的预训练模型，相当于在使用者的浏览器上跑一个CNN模型，只需要打开电脑，就能了解CNN究竟是怎么回事。而且，这个网页工具还可以实现交互，只要点击其中任何一个格子——就是CNN中的“神经元”，就能显示它的输入是哪些、经过了怎样细微的变化。甚至，连每一次卷积运算都能看得清。 量子位
Spektral：使用TF2与Keras实现经典GNN的开源库
Spektral是一个基于Keras API和TensorFlow 2，用于图深度学习的开源Python库。该项目的主要目的是提供一个简单但又不失灵活性的图神经网络框架。使用者可以使用 Spektral 来进行网络节点分类、预测分子特性、使用GAN生成新的拓扑图、节点聚类、预测链接以及其他任意数据是使用拓扑图来描述的任务。 机器之心
应用
剑桥AI模型力证口罩作用：100%人口戴口罩，疫情根本不会扩散
全球很多研究人员在致力于用科学研究证明戴口罩的重要性。在本周发布的一项新的预印本研究中，剑桥大学，伦敦大学学院，巴黎高等经济学院，香港科技大学和芬兰家庭联合会的研究人员提出了两种人工智能模型，旨在预测戴口罩对新冠病毒传播的影响。论文名字叫：《在新冠疫情大流行中，口罩普及迫在眉睫：SEIR和基于代理的模型、经验验证、政策建议》。他们为了这项研究大声疾呼，甚至还出了一本通俗的宣传册，来告诉民众戴口罩的重要性。 新智元
Google利用AI实现6小时设计出计算机芯片
近日，由谷歌AI的首席科学家Jeff Dean领导的团队共同撰写了一份预印论文，该论文描述了一种基于学习的芯片设计方法。 他们将芯片放置视为强化学习问题，用RL策略来优化芯片放置的质量。与以前方法不同的是，该方法可以从过去的经验中学习，并随着时间的推移不断改进。特别是，当训练更多的芯片块时，该方法更擅长为先前未见过的芯片块快速生成优化的布局。 学术头条
华盛顿大学利用AI算法使手机视频获得3D效果
一种新型计算机视觉算法，可以让用户拍摄的视频瞬间得到3D电影级特效的加持。该应用如今得益于基于卷积神经网络的3D视频重建算法，已能够登上各个用户的手机屏。 3D场景重建在计算机视觉领域已不算一件新鲜事了。在过去，要将手机拍摄的视频进行优质的3D重建是相当困难的，而就在最近，来自华盛顿大学、弗吉尼亚理工学院和 Facebook 的研究团队，共同提出了一种重建单目视频中所有像素密集几何结构深度的新算法，巧妙地解决了3D重建手机视频的问题。 将门创投
会议
首届全程线上ICLR：视频&PPT全开放，还取消了最佳论文
近日，ICLR官方开放了整个大会虚拟会议的访问，任何人都可以访问大会演讲者的视频和PPT。而且，今年取消了最佳论文。 量子位
经验
高产来自“长期主义”：智源学者朱军谈ICLR 2020全球发文第二的经验法则
在刚刚闭幕的人工智能顶会ICLR 2020上，华人学者的崛起令世人眼前一亮：华人作者参与论文数占比近60%。其中，智源学者、清华大学计算机系朱军教授团队发表了7篇论文，论文数位列ICLR 2020全球第二。那么，朱军团队在ICLR上硕果累累的背后，有哪些成功经验值得大家学习借鉴呢？同时在朱军看来，这次刚刚闭幕的ICLR，研究者们能看到哪些值得关注的AI研究新趋势呢？ 智源社区
以上是《智源社区AI周刊》第21期的内容，智源研究院编辑团队将本着“提供真正内行的AI资讯”的目标，不断优化和完善我们的内容服务，各位读者们如有批评意见，或者好的建议，请在评论区留言告诉我们。谢谢大家。
特约编辑：刘布楼 常政 刘沂喆
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢