导读
为了帮助中国人工智能科研、从业者更好地了解全球人工智能领域的最新资讯,智源研究院编辑团队本周整理了第46期《智源社区AI周刊》,从学术(论文和新思想、学术会议等),行业和政策(技术产业政策、项目基金申请、技术投融资等),人物(学者的人事变动和获奖情况),数据(数据集),工具(新工具和应用推荐),求职(职场研究报告等)等诸多角度,鸟瞰过去一周人工智能领域值得关注的动态。
在过去一周(2020/11/02~2020/11/08)左右时间,首先值得推荐的内容有以下3方面:
清华大学朱文武教授带领的网络与媒体实验室发布了全球首个开源自动图学习工具包:AutoGL。该工具支持在图数据上全自动进行机器学习,并且支持图机器学习中最常见的两个任务:节点分类任务与图分类任务。(详情参见本周报“新工具”栏目)
IEEE Intelligent Systems评选出2020年“AI十大潜力人物”(AI' 10 To Watch),其中入选华人学者占一半,包括韩松、杨笛一、王威廉、方飞、张含望等。“AI十大潜力人物”面向全球,两年评选一次,旨在选出年轻而有抱负的AI科学家。(详情参见本周报“人物”栏目)
美东时间12月23日,由Gary Marcus主持的AI Debate再次召开,主题为“推动 AI 前进:跨学科方法”。智源社区从16个学者分享中选取其中4位的观点进行分享,颇具启发。如下:李飞飞:下一个AI的北极星在与真实世界的互动;Judea Pearl:干草堆里寻针,需要先见过针;Daniel Kahneman:AI界对系统一和系统二的误解;Ken Stanley:看10亿年生物进化因果链,我们忽视了很多维度。(详情参见本周报“观点”栏目)
下面是各个要点的详情介绍。
论文推荐
中科院&华为诺亚方舟 | 面向未来的同声翻译增量式Transformer Future-Guided Incremental Transformer for Simultaneous Translation
同声传译(ST)在阅读原文句子时开始同步翻译,在许多在线场景中使用。之前提出的wait-k策略比较简单,在ST上取得了良好的效果。然而,wait-k策略有两个弱点:第一是重新计算隐藏状态导致的训练速度较慢,第二是缺乏未来的源信息来指导训练。针对训练速度较慢的问题,作者提出了一种带平均嵌入层的增量Transformer,以加快训练过程中隐藏状态的计算速度。对于未来导向训练,作者使用一个传统的Transformer作为增量Transformer的teacher模型,并尝试通过知识蒸馏将一些未来信息无形地嵌入到模型中。 论文下载 | 参与讨论
清华大学 | 图聚合异构网络嵌入 GAHNE: Graph-Aggregated Heterogeneous Network Embedding
现实世界中的网络通常由具有丰富语义的不同类型的节点和边缘组成,即异构信息网络(HIN)。异构网络嵌入的旨在将节点嵌入到低维向量中,获取异构网络丰富的内在信息。然而,现有的模型要么依赖于人工设计的元路径,要么会忽略不同语义之间的相互影响,要么忽略网络中的某些全局信息。为了解决上述问题,本文作者提出了一种新的图聚合异构网络嵌入(GAHNE)方法,旨在尽可能全面地提取异构信息网络的语义,以改善基于图卷积神经网络的下游任务的性能。在 GAHNE 模型中,作者提出了一些可以聚合来自不同单一类型子网络语义表征的机制,并将全局信息融合到最终的嵌入中。 论文下载 | 参与讨论
北卡罗来纳大学夏洛特分校 | 基于深度学习的人类姿态估计综述 Deep Learning-Based Human Pose Estimation: A Survey
人体姿态估计任务旨在根据图像、视频等输入数据定位人体部位,构建人体表征(如人体骨架)。近年来,该任务受到了越来越多的关注,并被广泛应用于人机交互、运动分析、增强现实和虚拟现实等领域。尽管最近人们提出的基于深度学习的解决方案在人体姿态估计方面取得了很好的性能,但训练数据不足、深度模糊和遮挡等问题仍然为该任务提出了巨大的挑战。在本文中,作者通过对基于输入数据和推理过程的解决方案进行系统的分析和比较,对最近基于深度学习的二维和三维姿态估计解决方案进行了全面的回顾。本文涵盖了自 2014 年以来的 240 多篇研究论文。此外,本文还介绍了多个二维和三维人体姿态估计数据集和评估指标,总结和讨论了现有方法在流行数据集上的定量性能比较。最后,对所涉及的挑战、应用和未来的研究方向进行了总结。 论文下载 | 参与讨论
HiNAS:用于图像恢复的内存高效的NAS网络 Memory-Efficient Hierarchical Neural Architecture Search for Image Restoration
最近,人们对神经网络架构搜索(NAS)方法花费了很多注意力,该方法通常胜过在高级视觉任务上手动设计的体系结构。受此启发,我们尝试利用NAS技术为low-level图像恢复任务自动设计高效的网络结构。在本文中,我们提出了一种内存高效的分层NAS HiNAS(HiNAS),并将其应用于以下两个任务:图像去噪和图像超分辨率。HiNAS采用基于梯度的搜索策略,并构建了一个灵活的分层搜索空间,包括内部搜索空间和外部搜索空间,分别负责设计单元架构和确定单元宽度。对于内部搜索空间,我们提出了分层体系结构共享策略(LWAS),以实现更灵活的体系结构和更好的性能。对于外部搜索空间,我们提出了单元共享策略以节省内存,并显著提高搜索速度。所提出的HiNAS既具有存储效率又具有计算效率。使用单个GTX1080Ti GPU,在BSD 500上搜索降噪网络只需要大约1个小时,而在DIV2K上搜索超分辨率结构只需要3.5个小时。实验结果表明,与最先进的方法相比,HiNAS发现的体系结构具有更少的参数并享有更快的推理速度,同时还具有极高的竞争力。 论文下载 | 参与讨论
RAVE:用于无监督实时视频增强的高效循环对抗框架 An Efficient Recurrent Adversarial Framework for Unsupervised Real-Time Video Enhancement
视频增强是一个比静止图像更具挑战性的问题,这主要是由于计算成本高,数据量大以及难以在时空域中实现一致性。在实践中,这些挑战通常与示例对的缺乏相结合,这阻碍了监督学习策略的应用。为了应对这些挑战,我们提出了一种有效的对抗视频增强框架,该框架直接从未配对的视频示例中学习。特别是,我们的框架引入了新的循环单元,该单元由交错的局部和全局模块组成,用于隐式集成时空信息。提出的设计使我们的循环单元能够跨帧有效地传播时空信息,并减少了对高复杂度网络的需求。我们的设置允许以循环对抗的方式从未配对的视频中学习,其中提出的循环单元在所有体系结构中都采用。通过引入一个可同时学习源域和目标域的联合分布的单个鉴别器来完成有效的训练。增强结果在视觉质量,定量指标和推理速度的所有方面均证明了所提出的视频增强器明显优于最新方法。值得注意的是,我们的视频增强器能够每秒增强35帧以上的FullHD视频(1080x1920)。 论文下载 | 参与讨论
观点
AI Debate2 | 李飞飞提「AI北极星」,卡尼曼指「系统1」理解有误
美东时间12月23日,由Gary Marcus主持的AI Debate再次召开,主题为“推动 AI 前进:跨学科方法”。智源社区从16个学者分享中选取其中4位的观点进行分享,颇具启发。如下:李飞飞:下一个AI的北极星在与真实世界的互动;Judea Pearl:干草堆里寻针,需要先见过针;Daniel Kahneman:AI界对系统一和系统二的误解;Ken Stanley:看10亿年生物进化因果链,我们忽视了很多维度。 智源社区 | 参与讨论
行业与政策
《2020中国人工智能手机白皮书》:智能手机创新下半场,谁会成为新风口?
Gartner发布数据显示,2020年第三季度全球智能手机销售下降5.7%,自2017年以来智能手机连续下滑的趋势还未“探底”。中国市场同样如此,工信部旗下中国信通院公布的数据显示,今年1-11月,国内手机市场总体出货量累计2.81亿部,同比下降21.5%,5G渗透率持续提升的同时,手机市场仍在不断萎缩。无论是手机产业,还是用户都在期待重要新技术、新思维带来的变革驱动力量。艾瑞咨询近期发布的《2020中国人工智能手机白皮书》(以下简称《白皮书》) 中,重点提及了一个面向未来变革与技术升维的创新理念——“AI重新定义光感知”,引发了产业界的广泛认同与“跨圈”讨论。 旷视MEGVII | 参与讨论
硅谷风投a16z观点:AI公司的商业模式并没有那么光鲜
硅谷风投a16z投资人马丁·卡萨多(Martin Casado)和马特·伯恩斯坦(Matt Bornstein)今年稍早的文章认为,AI公司具有以下特征:由于大量使用云基础架构和不间断的人工支持,导致公司毛利率下降;由于棘手的边缘案例问题给扩展性带来挑战;由于AI模型的商品化以及数据网络效应带来的挑战,护城河的可防御性变弱。他们更像是传统服务型公司,比SaaS公司利润空间低,面临的挑战很大。 机器之能 | 参与讨论
医疗AI研发商「深睿医疗」完成数亿元C+轮融资
继获批中国创新AI产品NMPA三类证后,「深睿医疗」今日宣布完成数亿元C+轮融资。本轮融资由中关村龙门投资领投,上海联新资本等机构跟投,老股东君联资本本轮继续跟投加码。这是该公司成立四年来的第五轮融资。「深睿医疗」成立于2017年,总部位于北京中关村高科技核心地区,公司通过AI技术及自主研发的核心算法,为各类医疗服务机构提供基于AI和互联网医疗的解决方案。 36kr | 参与讨论
人物
IEEE公布“AI十大潜力人物”名单,韩松、王威廉、杨迪一、方飞、张含望等人入选
IEEE Intelligent Systems评选出2020年 “AI十大潜力人物”(AI' 10 To Watch),其中入选华人学者占一半,包括韩松、杨笛一、王威廉、方飞、张含望等。“AI十大潜力人物”面向全球,两年评选一次,旨在选出年轻而有抱负的AI科学家。2020年“AI十大潜力人物”从今年4月开始进行评选,采取提名制,要求候选人具有博士学位,且博士学位在2014年后获得。经过仔细的甄选,评选委员会最终基于候选人的科研质量、科研声誉、科研影响力、专家认可度和研究内容的多样性,选出了10位最值得关注的AI科研人员。 AI科技评论 | 参与讨论
数据
大规模通用域事件检测数据集MAVEN
本文构建了一个大规模通用域事件检测数据集MAVEN,它包含4480篇文章和118732个事件实例,覆盖了168种事件类型。同时也在MAVEN数据集上复现了一系列当前最佳的模型并进行了全面的实验。实验结果显示在传统数据集上表现极好的模型并不能在MAVEN上也取得理想的表现,这表明事件检测仍是一个具有挑战性的方向。本文也通过一些实证分析讨论了事件检测任务后续的发展方向。 AI TIME 论道 | 参与讨论
代码
用语义分割的思路解决不完整话语重写任务
不完整话语重写旨在将对话中语义不完整的句子重写为一个语义完整的、可脱离上下文理解的句子,以恢复所有指代和省略的信息。由于该任务的输出严重依赖于输入,已有工作绝大部分都是在复制网络的基础上进行改进。而微软亚洲研究院的研究员们另辟蹊径地将该任务视为一个面向对话编辑的任务,并据此提出了一个全新的、使用语义分割思路来解决不完整话语重写的模型。在本篇论文中,研究员们提出了一个使用语义分割思路来预测编辑过程的模型 RUN (Rewriting U-shaped Network)。与传统基于复制网络的生成模型不同,RUN 将不完整话语重写视为面向对话编辑的任务: 对话中的语句片段可以插入到某个位置,或替换某个片段。该模型在benchmark数据集上显示出出色的性能。
用于句子语义嵌入的双语生成Transformer 语义句子嵌入模型将自然语言句子编码成向量,嵌入空间的紧密性表明句子之间语义的紧密性。双语数据为学习这种嵌入提供了一个有用的信号:在翻译对中,两个句子共享的属性可能是语义的,而不同的属性可能是文体或语言特定的。本文提出了一个深层隐变量模型,试图对平行句进行源分离,分离出它们在潜在语义向量中的共同点,并解释语言特定的潜在向量所留下的东西。文中提出的方法不同于以往的语义句子编码方法。首先,利用变分概率框架,文中引入了鼓励源分离的先验知识,并且可以利用模型的后验来预测测试时单语数据的句子嵌入。其次,文中使用大容量变压器作为数据生成分布和推理网络。 CMU | 参与讨论
GCE-GNN基于全局上下文增强的图神经网络序列推荐方法
作者提出了一种全局上下文增强(global-context enhanced)的GNN网络,称为GCE-GNN。能够从两种层次来学习物品的表征,包括global-level:从所有session构成的图上进行全局的表征;以及session-level:从单个session局部item转移图上进行局部的表征;最后融合二者,并通过注意力机制形成最终的序列表征,用于序列推荐任务。 SIGIR 2020 | 参与讨论
教程
最新《计算控制理论》笔记与课程
本课程关注控制理论和强化学习的理论介绍,侧重于连续状态空间以及物理世界和机器人技术的应用。讲者强调计算效率的算法和可证明的界。特别关注RL中非随机控制和遗憾最小化的新方法。讲者将与该领域的经典方法论进行比较和对比。本课程的练习和项目将需要用python编写代码。 Google | 参与讨论
生成式对抗网络GAN进展
本文将重点关注目前流行的GAN技术在应对这些挑战方面取得的进展程度,并对已发表文献中GAN相关研究的现状进行了详细回顾。虽然到目前为止已经提交了几篇关于GANs的综述,但没有一篇是基于它们在解决与计算机视觉相关的实际挑战方面的进展来考虑这一领域的现状。因此,为了应对这些挑战,本回顾讨论了最流行的架构变体和损失变体GANs。本文的目标是在重要的计算机视觉应用需求的相关进展方面,对GAN的研究现状进行概述和批判性分析。在此过程中,本文还将讨论GANs在计算机视觉方面最引人注目的应用,并对未来的研究方向提出一些建议。 专知 | 参与讨论
澳大利亚陶大程院士最新综述《深度学习理论进展》
深度学习通常被描述为一个实验驱动的领域,并不断受到缺乏理论基础的批评。这个问题已经部分地被大量的文献解决了,这些文献至今没有被很好地组织起来。本文对深度学习理论的最新进展进行了综述和整理。文献可分为六类:(1)基于模型复杂度和容量的深度学习泛化;(2)用于建模随机梯度下降及其变量的随机微分方程及其动力学系统,其特征是深度学习的优化和泛化,部分受到贝叶斯推理启发;(3)驱动动力系统轨迹的损失的几何结构;(4)深度神经网络的过参数化从积极和消极两个方面的作用;(5)网络架构中几种特殊结构的理论基础;(6)对伦理和安全及其与泛化性的关系的日益关注。 arxiv | 参与讨论
新工具
清华发布首个自动图机器学习工具包AutoGL,支持自定义模型
清华大学朱文武教授带领的网络与媒体实验室发布了全球首个开源自动图学习工具包:AutoGL。该工具支持在图数据上全自动进行机器学习,并且支持图机器学习中最常见的两个任务:节点分类任务与图分类任务。AutoGL工具包首先使用AutoGL Dataset维护图机器学习任务所需数据集。AutoGL Dataset导入了大规模图表示学习工具包 CogDL 和图神经网络库 PyTorch Geometric (PyG) 中的数据集模块,并添加对 OGB 数据集的支持,同时还添加了一些支持以便集成 auto solver 框架。 清华大学 | 参与讨论
字节跳动开源云原生机器学习平台Klever
字节跳动基础架构团队基于火山引擎机器学习平台 Clever 及其丰富的行业落地经验,推出开源项目 Klever。Klever 是一个支持 OCI(Open Container Initiative)标准存储训练模型、支持在线模型服务部署的云原生机器学习平台。算法科学家可以使用 Klever 进行模型管理、模型解析、模型转换、模型服务。 字节跳动基础架构 | 参与讨论
易于使用的神经风格迁移框架pystiche
pystiche 是一个用 Python 编写的 NST 框架,基于 PyTorch 构建,并与之完全兼容。相关研究由 pyOpenSci 进行同行评审,并发表在 JOSS 期刊 (Journal of Open Source Software) 上。 Github | 参与讨论
应用
DeepMind新算法MuZero在Atari视频游戏中达到人类的水平
近日,DeepMind一篇关于MuZero的论文“Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model”在Nature发表。与AlphaZero相比,MuZero多了玩Atari的功能,这一突破进展引起科研人员的广泛关注。MuZero通过DQN算法,仅使用像素和游戏分数作为输入就可以在Atari视频游戏中达到人类的水平。相对于围棋、国际象棋、日本将棋,Atari游戏的规则与动态变化未知且复杂。AlphaGo在2016年的围棋比赛中以4-1击败了围棋世界冠军李世石;AlphaGo Zero,可以从零通过自我对弈训练,仅在知道基本游戏规则的情况下,第二年在性能上超过了AlphaGo;AlphaZero于2017年通过对AlphaGo Zero进行一般化,可以将其应用于其他游戏,包括国际象棋和日本将棋。 Nature | 参与讨论
中国、意大利等国研究员用AI发现新的月球陨石坑
由人工智能提供支持的新型陨石坑发现工具发现,月球表面比我们想象的还要坚固。在本周发表在《自然通讯》杂志上的一项研究中,来自中国,意大利和冰岛的国际研究人员小组使用利用中国月球轨道器收集的数据来训练的机器学习算法,在月球的低纬度和中纬度地区识别并绘制了 109,000 个新的陨石坑的位置图。新近确定的陨石坑大部分直径为 0.6 到 60 英里(1 到 100 公里)。据了解天文学家以前曾数过大约 5,000 个直径大于 12 英里的陨石坑。 Observer | 参与讨论
腾讯AI Lab新研究揭秘王者荣耀AI绝悟影星选择策略 玩 MOBA 游戏,选英雄很关键,因为这决定了双方队伍的阵容,会直接影响战绩、胜负等最终结果。之前最佳的选英雄方法通常没有考虑以下因素:1)英雄池扩大时选英雄的效率,2)MOBA 游戏 5v5 的多轮竞赛机制,即两支队伍比赛 N 局,获胜次数更多的队伍获胜(best-of-N),而在这一系列比赛中,每个英雄只能被选择一次。腾讯 AI Lab 和上海交通大学合作的这篇论文将阵容选择过程描述成了一个多轮组合博弈过程,并提出了一种全新的阵容选择算法 JueWuDraft,该算法基于神经网络和蒙特卡洛树搜索。具体来说,作者设计了一种长期的价值估计机制,可以更好地应对 best-of-N 比赛的选英雄情况。研究者在大热 MOBA 手游《王者荣耀》中检验了该方法,结果表明:相较于其它当前前沿的方法,JueWuDraft 的实用性和有效性都更胜一筹。 机器之心 | 参与讨论
经验
杨植麟:28岁青年科学家的科研与创业经验
在最近由“青源会”组织的青源Talk中,杨植麟博士分享了《从学习的角度看NLP的现状与未来》的报告。在此之后,智源社区邀请主持人张家俊研究员与杨植麟博士,就其科研及创业经验进行了深度对话。 智源社区 | 参与讨论
以上是《智源社区AI周刊》第53期的内容,智源研究院编辑团队将本着“提供真正内行的AI资讯”的目标,不断优化和完善我们的内容服务,各位读者们如有批评意见,或者好的建议,请不吝赐教发至:editor@baai.ac.cn。谢谢大家。
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢