导读 为了帮助中国人工智能科研、从业者更好地了解全球人工智能领域的最新资讯,智源研究院编辑团队本周整理了第48期《智源社区AI周刊》,从学术(论文和新思想、学术会议等),行业和政策(技术产业政策、项目基金申请、技术投融资等),人物(学者的人事变动和获奖情况),数据(数据集),工具(新工具和应用推荐),求职(职场研究报告等)等诸多角度,鸟瞰过去一周人工智能领域值得关注的动态。

在过去一周(2020/11/16~2020/11/22)左右时间,首先值得推荐的内容有以下3方面:

  1. EMNLP组委会颁布了本届的最佳论文,来自加州大学伯克利两位作者合写的论文获得了最佳论文,Hugging Face团队拿下了最佳Demo奖。此外还有四篇获得了最佳论文荣誉提名奖。 同时,在会议上,组委会还宣布了下一届会议在多米尼加共和国举行,时间是明年的11月7号到11月11日。复旦大学黄萱菁老师将成为下一届的程序主 席 。 (详情参见本周报“ 会议 ”栏目)
  2. 智源研究院 1 1 月1 9 日发布《2020北京人工智能发展报告》。《报告》从政策支持、科技资源、人才发展、科技成果、服务平台、伦理安全、场景开放、产业生态等十余个维度,系统分析了北京成为中国AI领头羊的内在动因和发展成效,刻画了北京AI发展的17个中国“第一” 。 (详情参见本周报“ 行业与政策 ”栏目)
  3. 刘康、黄高、沈华伟、张家俊四位智源学者和微软王井东研究员共同在《中国计算机学会通讯》撰文,提出了领域通用智能这一范畴,并讨论了可能的技术路径。文章认为,下一代通用人工智能技术急需突破的问题是如何“泛化”,称之为领域通用智能。文章从单模态通用、多模态通用、多任务通用等几个方面浅谈领域通用智能需要突破的关键技术。 (详情参见本周报“ 观点 ”栏目)

下面是各个要点的详情介绍。

论文推荐 弗吉尼亚理工大 | 应用于关系抽取的零样本学习 Zero-shot Learning for Relation Extraction

大多数现有的有监督,少样本学习关系提取方法都依赖于标记的训练数据。但是,在现实世界中,存在许多关系,而没有可用的训练数据。本文从零样本学习(ZSL)的角度解决了这一问题,它类似于人类在没有先验知识的情况下学习和认识新概念的方式。本文提出了一种零样本学习关系提取(ZSLRE)框架,该框架着重于识别没有可用于训练的相应标签数据的新颖关系。本文提出的ZSLRE模型旨在识别基于原型网络的新关系,该网络经过修改以利用辅助(辅助)信息。辅助信息的附加使用使那些经过修改的原型网络除了可以 识别先前已知的关系之外,还可以识别新颖的关系。作者根据标签及其同义词,名称实体的上位词和关键字来构造辅助信息。作者建立了一个自动的关系提取框架,以帮助直接从Web获取各种名称实体的改名。作者在两个公共数据集(NYT和FewRel)上进行了广泛的实验,证明了本文提出的模型在监督学习,少样本学习和零样本学习任务方面明显优于最新方法。本文的实验结果还证明了在组合方案中我们提出的模型的有效性和鲁棒性。 论文下载 | 参与讨论

卡内基梅隆大学 | 在开放域web关键词抽取中引入多模态信息 Incorporating Multimodal Information in Open-Domain Web Keyphrase Extraction

网页上的开放域关键短语抽取(KPE)是一项基础而复杂的NLP任务,在信息检索领域有着广泛的实际应用。传统的KPE任务大多基于普通文本类型,即只能利用文本这一种模态信号。而网页旨在方便用户导航和信息查询,因此从设计上遵循固定的策略,如字体大小、格式、布局等视觉信息。基于此,作者设计了一个基于多模态的web开放域关键短语抽取模型,该模型整合了文本和视觉等多模态信息,相比传统使用单模态信息的模型取得了更好的效果。 论文下载 | 参与讨论

北京大学王选所 | 电子商务问答系统中有意义答案的生成 Meaningful Answer Generation of E-Commerce Question-Answering

在电子商务门户中,为产品相关问题生成答案已成为一项关键任务。在本文中,作者将重点放在产品感知答案生成的任务上,该任务学习从大规模的未标记电子商务评论和产品属性生成准确而完整的答案。但是,安全答案问题对文本生成任务构成了重大挑战,电子商务问答任务也不例外。为了产生更有意义的答案,在本文中,本文提出了一种新颖的生成模型,称为有意义产品答案生成器(MPAG),该模型通过考虑产品评论,产品属性和原型答案来缓解安全答案问题。产品评论和产品属性用于提供有意义的内容,而原型答案可以产生更多样化的答案模式。为此,作者提出了一种新颖的答案生成器,它具有审阅推理模块和原型答案阅读器。本文的关键思想是从大量评论中获取正确的问题意识信息,并学习如何从现有的原型答案中写出连贯而有意义的答案。更具体地说,本文提出了一种由选择性书写单元组成的读写存储器,用于在这些评论之间进行推理。然后,本文使用由全面匹配组成的原型阅读器从原型答案中提取答案骨架。最后,本文提出一个答案编辑器,以问题和以上部分为输入来生成最终答案。在从电子商务平台收集的真实世界数据集上进行的大量实验结果表明,本文的模型在自动指标和人工评估方面均达到了最先进的性能。人工评估还表明,本文的模型可以始终如一地生成特定且正确的答案。 论文下载 | 参与讨论

清华大学&MSRA | Propagate Yourself:探索用于无监督视觉表征学习的像素级一致性 Propagate Yourself: Exploring Pixel-Level Consistency for Unsupervised Visual Representation Learning

近年来,对比学习方法在无监督视觉表征学习方面取得了显著的迁移性能。本文作者认为,对比学习的力量还没有得以完全开发。这是因为,目前的对比学习方法大多都是建立在实例级别的前置任务的基础上,这会导致得到的表征对于下游的需要密集像素预测的任务来说并不是最优的。在本文中,作者引入了像素级的前置任务来学习密集的特征表征。这是第一种直接在像素级别上应用对比学习的任务。此外, 作者 还提出了一种「像素-传播」的一致性任务,其效果甚至大大超越了目前最先进的方法 。 论文下载 | 参与讨论

斯坦福大学 Jure Leskovec 团队 | 图神经网络的设计空间 Design Space for Graph Neural Networks

随着图神经网络的快速发展,人们设计出了越来越多的新型GNN架构,提出了许多新的应用。然而,当前的研究侧重于提出和评估特定的GNN架构设计(例如,GCN、GIN、GAT),而不是研究更一般的由不同设计维度(例如,网络的层数或聚合函数的类型)的笛卡尔积组成的GNN的设计空间。此外,GNN通常专门针对单个任务而设计,但很少有人试图研究如何快速为新任务或新数据集找到最佳的GNN设计。在本文中,作者定义并系统地研究了GNN的架构设计空间,它包含了超过32种不同的预测任务的315,000种不同的设计。本文提出的方法包含以下三个主要创新:(1)一个通用的GNN设计空间;(2)具有相似度度量的GNN任务空间,从而对于给定的新任务/数据集可以快速识别/迁移性能最好的架构;(3)一种高效的设计空间评价方法,可以从大量的「模型-任务」组合中蒸馏知识。 论文下载 | 参与讨论

观点 刘康、黄高、沈华伟、张家俊四位智源学者 : 下一代通用人工智能的核心问题是 “泛化”,包括场景泛化、模态泛化、任务泛化等

刘康、黄高、沈华伟、张家俊四位智源学者和微软王井东研究员共同在《中国计算机学会通讯》撰文,提出了领域通用智能这一范畴,并讨论了可能的技术路径。无论是AlphaGo还是GPT-3,均是在单一场景下,基于训练数据、针对单一任务进行优化,实现有限框架内的 感知、理解、推理、控制等行为,因此被称为“窄人工智能”(Artificial Narrow Intelligence,ANI),或弱人工智能。相对而言,强人工智能期望机器能像人一样思考、推理,能处理各种任务,比肩人类的智能水平。与强人工智能相比,现有通用人工智能更加强调机器的“泛化”能力,包括场景泛化(即模型从单一场景泛化至多个场景)、模态泛化(即一个模型适用于多种模态的任务)、任务泛化(即一个模型可以处理多种类型的任务)等。文章认为,下一代通用人工智能技术急需突破的问题是如何“泛化”,称之为领域通用智能。文章从单模态通用、多模态通用、多任务通用等几个方面浅谈领域通用智能需要突破的关键技术。 中国计算机学会 | 参与讨论

行业与政策 智源研究院发布《2020北京人工智能发展报告》,剖析北京AI发展的17个中国“第一”

智源研究院 1 1 月1 9 日发布《2020北京人工智能发展报告》。《报告》从政策支持、科技资源、人才发展、科技成果、服务平台、伦理安全、场景开放、产业生态等十余个维度,系统分析了北京成为中国AI领头羊的内在动因和发展成效,刻画了北京AI发展的17个中国“第一”。 北京智源人工智能研究院

李开复:AI的四波浪潮将重塑各行各业

11月16日,在格隆汇“全球视野”投资高峰论坛上,创新工场董事长兼CEO李开复认为,AI的四波浪潮将重塑各行各业。第一波AI浪潮发生在互联网领域,第二波浪潮是商业智能化,第三波浪潮是捕捉新的数据,第四波AI将像人一样可以应用于驾驶、智能制造等领域。新冠疫情虽带来挑战,但实则帮助全球数字化,叠加国内发力的新基建,人工智能进一步实现数据化、IT化、云端化,便能使得中国经济更为高效,重塑行业、重构经济。 百度

AI平台公司Abacus融资2200万美元

本次领投喂Coatue,跟投为Decibel Ventures和Index Partners。公司创始人兼CEO Bindu Reddy曾任AWS AI垂直业务总经理,也在Google做过产品经理。之前创办的AI公司被Uber收购。 Techcrunch

数据 谷歌新发布Objectron短视频剪辑数据集

由于视频流在计算机视觉中的应用十分普遍,所以基于视频流的标注数据将会帮助算法抽取更多结构数据,促进算法的性能提升。为了解决这一问题,谷歌最近发布了一系列由短视频片段构成的、以目标为中心的Objectron三维目标标注数据集,覆盖了多种常见的目标和不同的拍摄角度。同时还包含了AR格式的元数据,包括相机位姿和稀疏点云。其中每一个目标都被手工标注,对位置、朝向和维度等方面进行了描述。数据集共包含了15K标注视频片段,涵盖了超过4M标注图像,这些图像的地理位置覆盖五个大洲十个国家,进一步提高了目标的丰富程度。

将门创投

代码 用于视频描述的神经-符号表征:将归纳偏置用于视觉和语言

近年来,多项研究成果表明,「神经-符号」表征在学习视觉和语言的结构信息时是十分有效的。在本文中,作者提出了一种新的、为视频描述学习多模态神经符号表征的模型架构。本文提出的方法使用基于字典学习的方法来学习视频和与其配对的文本描述之间的关系。本文作者将这些关系称为「相对角色」,并利用它们使用注意力机制使每个词例都与这种角色相关。通过这种方法,作者构建了一种更加结构化和可解释的架构,该架构向视频描述任务中融入了特定模式的归纳偏置。直观地说,该模型能够为给定的一对视频和文本学习空间、时序和跨模态的关系。本文提出的方案所实现的解耦赋予了模型更强的捕获多模态结构的能力,从而产生了质量更高的视频描述 。 哥伦比亚大学

保持节点相似度的图卷积神经网络

图神经网络(GNN)具有很强的图表征学习能力,在各种实际应用中取得了巨大的成功。gnn通过聚合和变换节点邻域内的信息来探索图的结构和节点特征。但是,通过理论和实证分析,本文作者发现 GNN 的信息聚合过程会破坏原始特征空间中的节点相似性。在许多场景下,节点相似度起着关键作用。因此,这促使本文作者提出了 SimP-GCN 框架,它可以在利用图结构的同时有效地保留节点相似性。具体而言,为了平衡图结构和节点特征信息,本文作者提出了一种自适应地集成图结构和节点特征的、能够保留特征相似度的聚合方法。此外,本文作者使用自监督学习显式地获取复杂的特征相似度和差异性关系。本文作者在包括 3 种同配图和 4 种异配图的 7 个对比基准数据集上验证了 SimP-GCN 的有效性。实验结果表明,SimP-GCN 的性能优于代表性对比基线 。 密歇根大学

DenseCL:自监督视觉预训练的密集对比学习

迄今为止,大多数现有的自监督学习方法都是针对图像分类进行设计和优化的。由于图像级预测和像素级预测之间的差异,这些预训练模型对于密集的预测任务可能不是最佳的。为了填补这一空白,我们旨在设计一种有效,密集的自监督学习方法,该方法通过考虑局部特征之间的对应关系,直接在像素(或局部特征)级别上起作用。我们提出了密集的对比学习,该学习通过在输入图像的两个视图之间的像素水平上优化成对的对比(不相似)损失来实现自监督学习。与基准方法MoCo-v2相比,我们的方法引入了可忽略的计算开销(仅慢了不到1%),但是在转移到下游密集的预测任务(包括目标检测,语义分割和实例分割)时,始终表现出优异的性能;并大大领先于最新方法。 阿德莱德大学

教程 深度学习不确定性量化: 技术、应用与挑战

在优化和决策过程中,不确定性量化在减少不确定性方面起着至关重要的作用。它可以用于解决科学和工程中的各种实际应用。贝叶斯逼近和集成学习技术是目前文献中使用最广泛的两种UQ方法。在这方面,研究者们提出了不同的UQ方法,并在计算机视觉、图像处理、医学图像分析、自然语言处理、生物信息学得到广泛应用。本研究综述了UQ方法在深度学习中的最新进展。此外, 作者 还研究了这些方法在强化学习中的应用。然后,我们概述了UQ方法的几个重要应用。最后, 作者 简要地强调了UQ方法面临的基本研究挑战,并讨论了该领域的未来研究方向。 arxiv | 参与讨论

CCKS 2020 知识图谱工业界论坛论坛 | 知识图谱在企业销售与培训业务中的探索与实践

传统销售行业以保险代理、房产中介为代表,一直面临人员流动性大、培训成本高、培训效率低、评价标准不统一等问题。利用知识图谱和自然语言处理的相关技术,对企业所拥有的大量培训材料进行知识图谱体系的构建与知识抽取,并结合培训师专家策略知识进行有机的组织和整合,通过模拟真实销售场景人机对话,形成了标准化的企业销售业务人员智能培训系统。同时,系统还可以分析与处理智能培训的模拟销售场景引导和练习所形成人机交互数据,进一步迭代到模拟销售的知识图谱中,形成一个培训材料和专家知识冷启动+培训数 据迭代优化的数据闭环,从而使得行业销售培训具有真实临场感,通用可定制,自我优化等优点。 智源社区

EMNLP2020教程:《自然语言处理模型的可解释性研究》

尽管神经NLP模型具有很高的表现力并且在诸多任务上取得了成功,但它们往往做出违反直觉的决策,并且在决策过程中不透明。本教程将提供可解释技术的背景知识,重点关注解释NLP模型预测的方法。讲者将首先在某一些场景下展示了特定于示例的解释。接下来,讲者全面研究了特定于示例的解释,包括显着性图,输入扰动(例如LIME,输入减少),对抗攻击和影响函数。除了这些讲解之外,讲者还将遍历源代码,这些源代码创建并可视化各种NLP任务的解释。最后,讲者将讨论该领域的未解决问题,例如评估,扩展和改进解释方法。 AMiner科技

新工具 TensorFlow为新旧Mac特供新版本,GPU可用于训练,速度最高提升7倍

主流机器学习框架TensorFlow发文表示:我们专门做了一版为Mac用户优化的 TensorFlow 2.4框架,M1版Mac和英特尔版Mac都能用。这一举动有望大幅降低模型训练和部署的门槛。ML Compute是苹果公司今年推出的新框架,可用于在Mac上进行 TensorFlow模型的训练。现在,无论新的M1版Mac还是旧的英特尔版Mac,其CPU和GPU都能用来加快训练速度。 查看更多

SUOD:大规模异常检测加速系统

该项目 是来自 CMU 的开源项目, 主要是为了解决怎么在一台机器上训练和使用很多个异常检测算法,它可以有效的做到在加速的同时不影响预测的精度(有时候还有微弱的提升)。它主要是通过三个手段:(1)是对数据进行随机降维(2)用监督模型来拟合无监督模型(3)假设当电脑有多核的情况下,更均衡的把训练和预测任务分配到每个核上。 CMU | 参与讨论

YOLOV4 官方改进版 Scaled-YOLOv4:扩展跨阶段局部网络

本项目 展 示了基于CSP方法的YOLOv4目标检测神经网络,可以上下缩放,并且适用于小型和大型网络,同时保持最佳的速度和准确性。 作者 提出了一种网络缩放方法,该方法不仅可以修改深度,宽度,分辨率,还可以修改网络的结构。YOLOv4-large模型达到了最先进的结果:在Tesla V100上以15 FPS的速度,MS COCO数据集的AP为55.4%(AP50为73.3%),而随着测试时间的增加,YOLOv4-large的模型达到了55.8% AP(73.2 AP50)。这是目前所有已发表作品中COCO数据集的最高准确性。 YOLO | 参与讨论

应用 研究人员开发“假新闻”网站识别AI,准确率可达90%

美国大选以来,谣言和谎言开始像野火一样在社交媒体上散布。有人认为从假象中发现事实很容易,但如果连在职美国总统都在推特上发布虚假报道,那就很难让人从形形色色的消息中窥见真相了。不过,人工智能(AI)并没有在这些假消息中迷失方向。前不久,伦敦大学学院和加州大学伯克利分校的研究人员共同开发了一款可以识别“假新闻”网站的AI,准确率达到90%。他们设计了一种机器学习软件,可以找到广为传播的“假新闻”的来源,即这些假新闻的域名。 大数据文摘

华为云 通过AI算法检测动脉瘤

日前,放射学领域的国际期刊 Radiology《放射学》发表了华为云 EI 创新孵化Lab、华中科技大学电信学院、华中科技大学同济医学院附属协和医院放射科联合团队的最新研究成果——AI算法检测动脉瘤,其检测灵敏度达97.5%,该算法可以帮助医生在临床诊断精确度方面,提升约10个百分点,同时漏诊率降低5个百分点,有效地缩短了医生诊断时间。 DeepTech深科技

腾讯AI Lab联合研究登上Nature子刊,独创方法提升蛋白质结构预测精度

11月17日,腾讯公布了一项人工智能助力药物发现的新进展。通过腾讯自研的提升蛋白质结构预测精度的新方法,联合研究团队首次解析了II型5a还原酶(SRD5A2)的三维结构,揭示了治疗脱发和前列腺增生的药物分子“非那雄胺”对于该酶的抑制机制,这将有助于深化研究相关疾病的病理学机制及药物优化。此次,腾讯AI Lab采用“从头折叠”的蛋白质结构预测方法帮助解析了SRD5A2晶体结构,并通过自研AI工具“tFold”有效提升 了蛋白质结构预测精度,在科研突破中发挥了核心作用。除了在SRD5A2结构中的应用,这套方法还可以拓展应用于蛋白质分子和病理学机制的相关研究中。 腾讯AI lab

会议 EMNLP2020闭幕 : UC伯克利“拿下”最佳论文,复旦黄萱菁出任下一届程序主席

EMNLP组委会颁布了本届的最佳论文,来自加州大学伯克利两位作者合写的论文获得了最佳论文,Hugging Face团队拿下了最佳Demo奖。此外还有四篇获得了最佳论文荣誉提名奖。 同时,在会议上,组委会还宣布了下一届会议在多米尼加共和国举行,时间是明年的11月7号到11月11日。复旦大学黄萱菁老师将成为下一届的程序主 席 。 AMiner科技

以上是《智源社区AI周刊》第48期的内容,智源研究院编辑团队将本着“提供真正内行的AI资讯”的目标,不断优化和完善我们的内容服务,各位读者们如有批评意见,或者好的建议,欢迎评论区留言。谢谢大家。

© 北京智源人工智能研究院,版权所有

内容中包含的图片若涉及版权问题,请及时与我们联系删除