导读
为了帮助中国人工智能科研、从业者更好地了解全球人工智能领域的最新资讯,智源研究院编辑团队本周整理了第41期《智源社区AI周刊》,从学术(论文和新思想、学术会议等),行业和政策(技术产业政策、项目基金申请、技术投融资等),人物(学者的人事变动和获奖情况),数据(数据集),工具(新工具和应用推荐),求职(职场研究报告等)等诸多角度,鸟瞰过去一周人工智能领域值得关注的动态。
在过去一周(2020/09/21~2020/09/27)左右时间,首先值得推荐的内容有以下3方面:
- NeurIPS 2020官方近日发布接收论文列表,被提交的9454篇论文中有1900篇论文接受,接受率20.1%,其中涵盖280篇Spotlight和105篇Oral。(详情参见本周报“会议”栏目)
- 近日,“人工智能治理公共服务平台”在2020年中关村论坛发布会“重大创新集聚区”环节正式对外公开。北京智源人工智能研究院人工智能伦理与可持续发展研究中心主任曾毅代表智源研究院,以及平台共同研发单位——中国科学院自动化研究所中英人工智能伦理与治理研究中心发布了该平台。(详情参见本周报“新工具”栏目)
- 9月22日,微软在官网发布通告,与OpenAI合作,独家获取了GPT-3语言模型的使用许可。这份通告以微软首席技术官凯文·斯科特(Kevin Scott)的身份发出,称微软正在与OpenAI合作,独家授权GPT-3使用。从微软和OpenAI两方来看,这是一场双赢的交易:微软希望将GPT-3技术用在azure平台,扩张其技术能力;而OpenAI也通过微软获取到了GPT-3更多的应用场景和商业价值。(详情参见本周报“行业与政策”栏目)
下面是各个要点的详情介绍。
论文推荐
基于图神经网络的结构化层次对话策略
Structured Hierarchical Dialogue Policy with Graph Neural Networks
复合任务的对话策略训练是一个非常重要且具有挑战性的问题。最近,分层深度强化学习(HDRL)方法在复合任务中取得了良好的性能。但是,在原始HDRL中,高层策略和低层策略都由多层感知器表示,这些感知器将来自环境的所有观察结果串联起来作为预测行动的输入。因此,传统的HDRL方法经常遭受采样效率低和可传递性差的困扰。在本文中,本文通过利用图神经网络的灵活性解决了这些问题。作者提出了一种新颖的ComNet,以对分层代理的结构进行建模。作者针对ComNet的性能在PyDial benchmark的复合任务上进行了测试。实验表明,ComNet的性能可胜过普通的HDRL系统。它不仅可以实现高采样效率,而且在保持传递到其他复合任务的传输能力的同时,更不容易被噪音干扰。 论文下载 | 参与讨论
基于增强卷积LSTM的生成高分辨率气候变化预测模型 Augmented Convolutional LSTMs for Generation of High-Resolution Climate Change Projections
众所周知,预测气候变量的极端指数(例如温度和降水)的变化,对于评估气候变化给人为和自然系统(包括关键基础设施和生态系统)的潜在影响至关重要。虽然影响评估和适应规划依赖于高分辨率的预测(通常在几公里的数量级),但最新的地球系统模型(ESM)的空间分辨率却只有几百公里。当前ESM高分辨率预测的解决方案包括按比例缩小的方法,这种方法在粗略尺度上考虑信息,在局部尺度上进行预测。局部气候变量(例如温度和降水)和大规模预测变量(例如,压力场)之间复杂的非线性相互依赖关系促使人们使用基于神经网络的超分辨率结构。该研究提出用于统计缩减的辅助变量信息时空神经体系结构。现有研究对世界上气候最多样化的国家-印度的降水变量进行了每日SD,从1.15度(115公里)到0.25度(25公里)的无害环境管理输出。本文对三个最先进的预测模型进行显著改进,以更好的预测极端条件下的气候变化,研究表明,增强卷积LSTM方法的结果(如RMSE等)明显优于其他方法。 论文下载 | 参与讨论
基于元学习的异常值自动检测 Automating Outlier Detection via Meta-Learning
在新数据集上的进行无监督异常值检测(OD)任务时,如何才能自动地选择一种好的异常值检测方法及模型?到目前为止,OD的模型选择一直是一种“黑色艺术”。由于缺少有标签的已知数据及通用目标函数,因此任何模型评估都不可行。本文首次开发了基于元学习的数据驱动OD模型选择方法,称为METAOD。 该方法利用了大量检测模型在现有异常值检测基准数据集上的历史数据,并学习已有的经验,以自动在新数据集上选择有效的模型。为了捕获任务的相似性,本文引入了专门的元特征来量化数据集的离群特征。通过综合实验,本文证明了METAOD在选择一种检测模型方面的有效性,该模型明显优于最先进的异常检测器(例如LOF和iForest)以及各种最新的无监督元学习器,并且计算速度非常快。 论文下载 | 参与讨论
5G超密集网络中的多接入边缘计算的智能多时间尺度资源管理 When Deep Reinforcement Learning Meets Federated Learning: Intelligent Multi-Timescale Resource Management for Multi-access Edge Computing in 5G Ultra Dense Network
本文作者首先提出了智能超密集边缘计算(I-UDEC)框架,将区块链和人工智能技术集成到5G超密集边缘计算网络中。为了实现实时和低开销的计算分流决策和资源分配策略,本文作者设计了一种新的双时间尺度的深度强化学习(2Ts-DRL)方法,该包括在较快的时间尺度和一个较慢的时间尺度上的学习过程。本文的主要目标是通过同时优化计算分流、资源分配和服务缓存布局,最小化总体的分流延迟和网络资源使用。为了保护边缘设备的数据隐私,本文作者基于联邦学习技术,通过分布式的方式训练了2Ts-DRL模型。仿真实验结果表明,2Ts-DRL和联邦学习技术在I-UDEC框架中可行且有效,并且可以减少31.87%的任务执行时间。 论文下载 | 参与讨论
利用渐进式语义感知样式转换网络实现盲面部恢复 Progressive Semantic-Aware Style Transformation for Blind Face Restoration
盲面部重建是指将未知退化后的低清晰度图像(LQ)恢复为高清图像(HQ),退化包括噪声、有损压缩、降采样等。这篇文章提出了一种渐进式带语义感知的样式转换框架,称为PSFR-GAN。他们没有像之前方法一样采用编码器-解码器框架,而是通过语义感知与样式转换将LQ面部图像的重建建模为一种多尺度的渐进式过程。给定一对LQ人脸图像及其对应的解析图,该文章将生成输入的多尺度金字塔,接着通过语义感知实现样式传递,从粗到细逐步调制不同尺度上的特征。由上,作者提出的PSFR-GAN充分利用了来自不同输入对的包括语义(解析图)和像素(LQ图像)的空间信息。作者进一步介绍了一种带语义感知的样式loss函数,该样式loss可单独计算每个语义区域的特征样式损失,以改善面部纹理的细节。作者也给出了预训练的人脸解析网络(FPN),FPN可以从真实的LQ人脸图像得到解析图。实验结果表明,该文章在真实或合成的LQ人脸数据集上都取得了比SOTA更好的重建效果及鲁棒性。 论文下载 | 参与讨论
观点
旷视科技联合创始人兼CTO唐文斌:整个未来城市大脑的演进的过程,应该是要一个自顶向下与自下向上双向结合的过程
近日,黄铁军、张博、唐文斌、柯吉欣、吴志强、许映童、曾毅等多名专家教授与知名企业家在2020中关村论坛人工智能与城市可持续发展论坛上围绕“人工智能与城市可持续发展”主题展开讨论。本文总结了他们关于“智能化城市发展的机遇与挑战”、“ 技术风险与伦理问题”以及“如何加强合作,使技术更好落地”的观点。其中旷视科技联合创始人兼CTO唐文斌认为,人工智能目前还是低智商,还在进化当中。整个未来城市大脑的演进的过程,应该是要一个自顶向下与自下向上双向结合的过程,一步步的去完成每一个价值交付,最终沉淀出我们的整个的城市图景。 学术头条 | 参与讨论
行业与政策
微软与OpenAI达成合作,获得GPT-3独家使用授权
9月22日,微软在官网发布通告,与OpenAI合作,独家获取了GPT-3语言模型的使用许可。这份通告以微软首席技术官凯文·斯科特(Kevin Scott)的身份发出,称微软正在与OpenAI合作,独家授权GPT-3使用。从微软和OpenAI两方来看,这是一场双赢的交易:微软希望将GPT-3技术用在azure平台,扩张其技术能力;而OpenAI也通过微软获取到了GPT-3更多的应用场景和商业价值。 微软 | 参与讨论
理想汽车与英伟达以及德赛西威签订战略合作协议,将率先采用英伟达最新一代自动驾驶智能芯片
9月22日,理想与英伟达以及德赛西威在北京签订三方战略合作协议。理想汽车将携手英伟达和德赛西威共同打造智能汽车。英伟达作为全球领先的人工智能计算公司将和德赛西威共同为理想汽车提供强大的计算平台。 新智驾 | 参与讨论
AI销售服务公司循环智能融资1200万美金
智源青年科学家杨植麟联合创办的循环智能(Recurrent AI)获得1200万美元融资,由红杉资本中国基金领投,万物资本、金沙江创投跟投。此前,循环智能获得过真格基金、靖亚资本和金沙江创投等机构的投资。 36kr | 参与讨论
人物
智源学者朱军获2020年“科学探索奖”
9月25日,腾讯基金会公布了2020年“科学探索奖”获奖名单,在信息电子、前沿交叉、数学物理学、生命科学等九大研究领域,评选出获奖者共计50人。根据《“科学探索奖”实施管理办法(2020年版)》的规定,经“科学探索奖”评审委员会评审,智源学者朱军被授予此次奖项,是信息电子领域6位获奖者之一。智源学者陈云霁和杨玉超曾获2019年首届“科学探索奖”。 北京智源人工智能研究院 | 参与讨论
数据
最新任务型对话数据集大全
合适的数据集或者语料是优秀的自然语言研究工作的基础,然而找寻合适的数据集通常是一件耗时耗力的工作。这时候一份优质的数据集汇总就能帮助科研人员,在研究开始的时候事半功倍。这篇文章就向你介绍一份优质的数据集汇总,帮助研究者的研究工作轻松选择一片合适的用武之地。本文主要介绍由哈工大研究中心博士生侯宇泰收集整理的一个任务型对话数据集大全。这份数据集大全涵盖了到目前在任务型对话领域的所有常用数据集的主要信息。此外,为了帮助研究者更好的把握领域进展的脉络,本文以Leaderboard的形式给出了几个数据集上的State-of-the-art实验结果。 哈尔滨工业大学 | 参与讨论
代码
TIDE:识别目标检测错误的通用工具箱
TIDE工具/框架可以对目标检测/实例分割的每种模型的优缺点进行全面分析,其将错误分为六种类型,最重要的是,这第一个引入一种技术来隔离每个错误对整体性能的影响的技术!进而来测量每个错误的影响。该工具现已开源! 佐治亚理工学院 | 参与讨论
FedML:面向研究的联邦学习的算法库和基准
FedML应该是目前最强大的联邦学习开源项目!可促进新的联邦学习算法开发和公平的性能对比。其支持三种计算范例(分布式训练,移动设备训练和单独仿真),以便用户在不同的系统环境中进行实验。 Github | 参与讨论
经历社会相变的蚁群视频中异常状态的识别
生物学既是重要的应用领域,也是发展高级机器学习技术的动力之源。高质量视频记录技术的进步已开始生成丰富的数据集,这些数据集需要计算机视觉和时间序列分析中的复杂技术。本文集中研究一个约有50只蚂蚁的小型实验室菌落中的生殖调控。该过程的结论对于人类观察者而言很明显,但仍不清楚瞬态过程中的哪些行为对该过程有所贡献。为了解决这个问题,本文探索了单分类(OC)在检测蚁群中异常状态的潜在应用,这些异常状态的行为数据仅适用于训练期间的正常社会条件。本文建立了深度支持向量数据描述(DSVDD),并引入了内部异常值生成器(IO-GEN)。结果表明相对于其他DSVDD基线,IO-GEN可以提高最终OC分类器的可靠性。此方法可用于筛选需要其他人工观察的视频帧。虽然本文侧重于社交昆虫实验室菌落的应用,但该方法可以应用于来自其他社交系统的视频数据,以更好地了解背后的因果关系,甚至可以预测未来的发生。 亚利桑那州立大学 | 参与讨论
教程
腾讯AI Lab联合清华、港中文,万字解读图深度学习历史、最新进展与应用
该联合课程的主题为“图深度学习:基础、进展和应用”,由腾讯AI Lab、清华大学、香港中文大学等机构联合组织,从基础的图概念一直谈到了当今最前沿的图神经网络研究进展。该课程将分图神经网络历史、图神经网络的最新研究进展和图神经网络的应用进展三大部分。 机器之心 | 参与讨论
杨强教授:《联邦学习最新进展》
杨强教授在CCAI 2020上讲了联邦学习的发展历程和最新进展,把联邦学习何传统的机器学习、时下火热的迁移学习和AutoML进行了结合探讨。 中国人工智能学会 | 参与讨论
字节跳动李航:《语言模型:过去、现在、未来》
语言模型是定义在单词序列上的概率模型,可以用来计算一个单词序列的概率。在自然语言处理中,单词序列可以是一个句子或一段文字。语言模型是基于概率论、统计学、信息论、机器学习对自然语言进行建模的重要方法。语言模型与深度学习相结合产生的神经语言模型具有强大的表示和学习能力,代表着语言模型发展到了一个新的阶段;特别是其中的预训练语言模型已经成为当今自然语言处理的核心技术。本文回顾语言模型的历史,总结语言模型的现状,展望语言模型的未来。 中国计算机学会 | 参与讨论
新工具
腾讯发布业内首个AI安全攻击矩阵
近年来,人工智能迅猛发展,与家居、金融、交通、医疗等各个领域深度融合,让人们的生活更为便利。但与此同时,基于人工智能的系统一旦存在风险也将带来更为严重的后果。如何确保人工智能在不同的应用场景下不会被轻易控制、影响或欺骗,也成为从业者的重要研究课题。9月25日,腾讯正式发布业内首个AI安全攻击矩阵。这是一份具有高实用性的AI安全技术指导框架,首次全面梳理了学术及工业界最前沿的AI安全研究,从攻击者的视角系统列举了AI技术研发部署各个环节中的攻击过程与技术实现手段,帮助AI从业者快速了解全生命周期下AI系统的风险点与对应缓解方法,为AI系统的安全部署和应用落地提供重要的技术参考。目前,风险矩阵的完整版本可于腾讯AI Lab官网下载。 腾讯AI实验室 | 参与讨论
“人工智能治理公共服务平台”在2020年中关村论坛发布
近日,“人工智能治理公共服务平台”在2020年中关村论坛发布会“重大创新集聚区”环节正式对外公开。北京智源人工智能研究院人工智能伦理与可持续发展研究中心主任曾毅代表智源研究院,以及平台共同研发单位——中国科学院自动化研究所中英人工智能伦理与治理研究中心发布了该平台。 北京智源人工智能研究院 | 参与讨论
PyTorch BigGraph:可高效训练包含数十亿节点和数万亿边的图模型的框架
Facebook提出了一种可高效训练包含数十亿节点和数万亿边的图模型的框架BigGraph并开源了其PyTorch实现。它能更快更轻松地为PyTorch模型中的超大图结构生成图嵌入。 Facebook | 参与讨论
应用
Google & CMU联合团队:选择弱监督内容用以提高图像字幕性能
目前图像字幕模型没有明确地对相关语义概念进行建模,只是针对数据集给予的ground truth为最终目标进行训练模型,因此导致现有模型缺乏足够的可解释性和可控制性。在Google & CMU联合团队最新发表的论文中,为了解决上述问题,作者将图像字幕任务分解成两个更加简单且可管理的任务。对于内容主干预测任务,作者使用现成的简单语言语法解析器,不需要额外的人工注释。对于基于内容主干字幕生成任务,作者使用已有的内容主干信息在编码器,解码器上进行模态对齐,增加模型的语义信息进行训练。该模型可以在非数据集内的测试图像上生成更好质量的字幕,同时该模型在其他语言也有比较好的表现。 Google&CMU | 参与讨论
香港城市大学团队:通过Latent空间变换修复老照片
本文提出通过深度学习方法还原遭受严重退化的老照片。与可以通过监督学习解决的常规还原任务不同,真实照片的退化很复杂,并且合成图像和真实旧照片之间的域差距使网络无法泛化。因此,本文通过利用真实照片和大量合成图像对来提出一种新颖的triplet域转换网络。具体来说,作者训练两个变体自动编码器(VAE)将旧照片和干净照片分别转换为两个潜在空间。并使用合成配对数据学习这两个潜在空间之间的转换。由于domain gap在紧凑的潜伏空间中是封闭的,因此这种转换可以很好地概括真实照片。此外,为了解决一张旧照片中混合的多种退化问题,作者设计了一个全局分支,该分支具有针对结构化缺陷(例如划痕和灰尘斑点)的局部非局部块,而针对非结构化缺陷(例如噪声和模糊度)的局部分支。在潜在空间中融合了两个分支,从而提高了从多个缺陷还原旧照片的能力。此外,作者应用另一个人脸优化网络来恢复旧照片中人脸的精细细节,从而最终生成具有增强感知质量的照片。通过全面的实验,提出的pipeline在老照片还原的视觉质量方面展示了优于最新方法和现有商业工具的优越性能。 香港城市大学 | 参与讨论
Adobe新方法处理6000×6000的高分辨率图像的抠图
很多深度学习方法实现了不错的抠图效果,但它们无法很好地处理高分辨率图像。而现实世界中需要使用抠图技术的图像通常是分辨率为5000×5000甚至更高的高分辨率图像。如何突破硬件限制,将抠图方法应用于高分辨率图像?来自UIUC、Adobe研究院和俄勒冈大学的研究者提出了一种新方法。具体来说,HDMatt方法使用新型模块设计,以基于patch的剪裁-拼接方式为高分辨率输入图像进行抠图,进而解决不同patch之间的语境依赖性和一致性问题。基于patch的原版推断方法单独计算每个patch,而该研究提出了新的模块——CrossPatch Contextual module (CPC),该模块由给定的trimap指导,对跨patch语境依赖性进行建模。 机器之心 | 参与讨论
会议
NeurIPS2020结果出炉,1900篇上榜
NeurIPS2020官方近日发布接收论文列表,9454篇论文提交有1900篇论文接受,接受率20.1%,其中涵盖280篇Spotlight和105篇Oral。因为疫情原因,今年6月神经信息处理系统大会NeurIPS 2020组委会发布了公告,决定将2020年大会举办为一届纯线上会议。 专知 | 参与讨论
经验
芝大CS博士谈从导师身上学到的几件事
Kevin Gimpel是TTIC和芝加哥大学计算机科学系的一位助理教授、博士生导师。他不会手把手教你做研究,但总会留很长的“comments”。在这种“放养”的模式下,学生依然能够体会到他的认真负责和一丝不苟……在这篇文章中,Gimpel的学生、芝加哥大学计算机博士褚则伟总结了他从导师身上学到的几件事。 机器之心 | 参与讨论
以上是《智源社区AI周刊》第41期的内容,智源研究院编辑团队将本着“提供真正内行的AI资讯”的目标,不断优化和完善我们的内容服务,各位读者们如有批评意见,或者好的建议,请不吝赐教发至:editor@baai.ac.cn。谢谢大家。
© 北京智源人工智能研究院,版权所有
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢