智源社区AI周刊#024：OpenAI发布GPT-3论文的预印本

导读 为了帮助中国人工智能科研、从业者更好地了解全球人工智能领域的最新资讯，智源研究院编辑团队本周整理了第24期《智源社区AI周刊》，从学术（论文和新思想、学术会议等），行业和政策（技术产业政策、项目基金申请、技术投融资等），人物（学者的人事变动和获奖情况），数据（数据集），工具（新工具和应用推荐），求职（职场研究报告等）等诸多角度，鸟瞰过去一周人工智能领域值得关注的动态。

在过去一周（2020/05/25~2020/05/31）左右时间，首先值得推荐的内容有以下3方面：

OpenAI于5月28日发布了GPT-3论文的预印本。本论文说明了，扩展语言模型可以极大地提高任务无关、小样本学习的性能，有时甚至可以与最先进的微调方法一试高下。（详情参见本周报“新工具”栏目）
为促进人工智能伦理与治理的国际合作，北京智源人工智能研究院、剑桥大学、中科院自动化所中英人工智能伦理与治理研究中心、北京大学相关学者合作撰文《克服人工智能伦理与治理的跨文化合作阻碍》，倡导推动跨文化背景下的人工智能伦理与治理的全球协作与创新。文章日前在线发表于《Philosophy and Technology》期刊。（详情参见本周报“行业与政策”栏目）
近日，由清华大学人工智能研究院、清华-中国工程院知识智能联合研究中心和智谱AI联合发布了《人工智能之学术搜索》报告。报告显示，得益于人工智能技术的不断引入，未来学术搜索产品将呈现出知识融合与推理、智能挖掘高精度算法双引擎驱动的发展趋势。（详情参见本周报“行业与政策”栏目）

下面是各个要点的详情介绍。

论文推荐 大规模多标签目标检测新算法 Large-Scale Object Detection in the Wild from Imbalanced Multi-Labels

在CVPR 2020上，商汤搜索与决策团队与中科院自动化所合作，针对超大规模多标签目标检测任务，提出了有效的解决方案。针对多标签问题，本文提出了concurrent-softmax，在训练和测试过程中，根据目标的多标签和类别的隐性依赖关系输出每种类别的概率值。该算法有效地解决了训练过程中的多标签优化难点，并改善了预测过程中多标签的竞争问题。针对长尾效应，本文提出了混合采样和混合训练法以解决。论文下载

用于点击率预测的自动特征交互选择因子机模型 Automatic Feature Interaction Selection in Factorization Models for Click-Through Rate Prediction

本文由华为诺亚方舟实验室发表于KDD 2020。对特征交互进行建模是推荐系统中的一个重要问题。在现有的深度推荐模型中，特征交互是由专家设计或者简单枚举得到。但是，简单枚举所有的特征交互会占用大量的内存和计算时间。更糟糕的是，无效的特征交互会引入不必要的噪声，干扰推荐模型的训练。本工作提出了一个两阶段的模型AutoFIS。AutoFIS可以为因子分解类模型自动定义出所有重要的特征交互，而并不过多地增加训练时间。在搜索阶段，为了实现在特征交互的离散集合上进行搜索，作者引入连续型结构变量来辅助搜索。通过在这些结构变量上加入约束型优化器，本文的模型在训练过程中可以自动定位并删除无效的特征交互。在重训练阶段，本文将这些结构变量当做注意力机制的权重参数来重新训练，以进一步提升模型的精度。作者在公开数据集和产品数据集上验证，AutoFIS可以提升因子分解类模型的精度。论文下载

Variational DropPath：提高3D CNN时空融合分析效率 Spatiotemporal Fusion in 3D CNNs: A Probabilistic View

本文由MSRA发表于CVPR 2020。时空融合（Spatiotemporal fusion）是三维卷积神经网络（3D CNNs）的关键要素，它决定了网络前馈过程中每一层如何提取、融合空间信号和时间信号。目前已有的时空融合分析方法囿于过大的网络训练开销，仅能对有限数量的融合策略进行网络级别分析。本文将时空融合策略嵌入到预先定义的概率空间，从而能够对任意多种融合策略进行网络级评估，而不必分别训练它们，极大地提高了针对时空融合策略的分析效率。论文下载

利用模拟退火实现无监督复述 Unsupervised Paraphrasing by Simulated Annealing

本文由清华大学发表于ACL 2020。无监督复述是自然语言处理中的重要研究课题。本文提出了一种利用模拟退火实现无监督复述的新方法，本文将复述建模为一个离散优化问题，并提出了一个精心设计的目标函数，包括语义相似性、表达多样性和释义的语言流畅性等衡量指标。通过执行一系列的局部编辑，在整个句子空间中搜索满足该目标函数的句子。因为本文的方法是无监督的，不需要平行语料库进行训练，因此可以方便地应用于不同领域的复述生成任务。作者在各种基准数据集上（Quora、Wikianswers、MSCOCO和Twitter）评估了本方法，结果表明，与以往的无监督方法相比，本文的方法在自动评估和人工评估方面都具备明显的优越性。此外，本文无监督方法优于大多数现有的领域自适应监督模型。论文下载

用于深度网络的任务感知超参数 HyperSTAR: Task-Aware Hyperparameters for Deep Networks

本文发表于CVPR 2020。虽然深度神经网络在解决视觉识别任务方面很出色，但它们需要付出巨大的努力来找到超参数，以使其达到最佳工作状态。超参数优化（Hyperparameter Optimization, HPO）方法使寻找好的超参数的过程自动化，但是它们不适应给定的任务，这使得它们的计算效率很低。为了减少HPO的时间，本文提出了一种任务感知超参数推荐系统HyperSTAR，这是一种任务感知的方法，用于暖启动深度神经网络的HPO。超星通过预测超参数在联合数据集超参数空间上的性能来对超参数进行排序和推荐。它以端到端方式直接从原始图像中学习数据集表示和性能预测器。当这些建议与现有的HPO方法集成时，可以使其具有任务意识并显著减少实现最佳性能所需的时间。作者在两种不同的网络架构下，对10个公开的大规模图像分类数据集进行了大量的实验，验证了HyperSTAR对配置的评估比现有方法少50%，从而获得最佳性能。论文下载

《推荐系统中的对抗性机器学习：现状和挑战》2020综述论文

基于协同过滤（CF）的潜在因素模型（LFM），如矩阵分解（MF）和深度CF方法，由于其良好的性能和推荐精度，在现代推荐系统（RS）中得到了广泛的应用。尽管近年来取得了巨大的成功，但事实表明，这些方法易受对抗攻击的影响，即这是一种微妙但非随机的扰动，旨在迫使推荐模型产生错误的输出。这种行为的主要原因是，用于LFM训练的用户交互数据可能会受到恶意干扰或用户误操作的污染，从而导致不可预测的自然噪声和危害推荐结果。另一方面，研究表明，这些最初设想用于攻击机器学习应用程序的系统可以成功地用于增强它们对攻击的鲁棒性，以及训练更精确的推荐引擎。在这方面，本综述的目标有两方面: 1. 介绍关于AML-RS的最新进展，以保障AML-RS的安全性；2. 展示了AML在生成对抗网络（GANs）中的另一个成功应用，生成对抗网络（GANs）使用了AML学习的核心概念。这项综述提供了一个详尽的文献回顾60篇文章发表在主要的RS和ML杂志和会议。这篇综述为RS社区提供了参考，研究RS和推荐模型的安全性，利用生成模型来提高它们的质量。 [https://arxiv.org/abs/2005.10322)

观点 中科院自动化所余山：对大脑的未知，并不阻碍借鉴大脑，成就智能

他山之石，可以攻玉。对于人工智能研究，脑科学无异是最重要的“他山之石”了。近年来，人工智能在经历过一波由深度学习带来的火爆之后，已然进入深水区；如何通向强人工智能，逐渐成为智能研究的各界人士共同关注的中心话题。“类脑计算”正是智能研究人员尝试以脑科学之“石”攻智能之“玉”的重要方向。5月19日，在中国图象图形学学会主办的“CSIG·云讲堂”上，中国科学院自动化研究所余山研究员作了“从脑网络到类脑网络计算”主题报告。余山研究员借鉴Marr对视觉体系的划分，将类脑计算的研究分为四个层面：硬件、算法、计算、学习。余山研究员认为，尽管当前人类对大脑的认知并不充分，但这并不阻碍智能研究的各界人士去借鉴已有的神经科学和脑科学的知识，从而来发展对智能系统的研究和设计。 AI科技评论

行业与政策 智源研究院与剑桥大学、中科院自动化所、北大学者共同撰文并发布《克服人工智能伦理与治理的跨文化合作阻碍》

为促进人工智能伦理与治理的国际合作，北京智源人工智能研究院、剑桥大学、中科院自动化所中英人工智能伦理与治理研究中心、北京大学相关学者合作撰文《克服人工智能伦理与治理的跨文化合作阻碍》，倡导推动跨文化背景下的人工智能伦理与治理的全球协作与创新。文章日前在线发表于《Philosophy and Technology》期刊，北京智源人工智能研究院人工智能伦理与安全研究中心、中科院中英人工智能伦理与治理研究中心组织翻译，并作为《人工智能伦理、治理与可持续发展译丛》文献第1期发布文章中文版。智源社区

清华大学《人工智能之学术搜索》报告发布：呈现知识和算法双引擎驱动的未来发展趋势

近日，由清华大学人工智能研究院、清华-中国工程院知识智能联合研究中心和智谱AI联合发布了《人工智能之学术搜索》报告。报告显示，得益于人工智能技术的不断引入，未来学术搜索产品将呈现出知识融合与推理、智能挖掘高精度算法双引擎驱动的发展趋势。《人工智能之学术搜索》报告以AI赋能的学术搜索为核心，在梳理学术搜索概念特征、发展历程、工作原理以及系统架构的基础上，重点分析解读了AI技术在学术搜索领域的具体应用情况、领域专家人才现状、典型产品的资源覆盖和功能特色，以及AI学术搜索技术与应用的未来发展趋势，并探讨了学术搜索领域的市场主体如何才能更“智能”、更“聪明”、更“定制化”地为科研用户提供相关信息服务。 AMiner

美国商务部将奇虎360、云从科技等33家中国企业/机构列入“实体清单”

美国商务部近期宣布，将云从科技、奇虎360、哈尔滨工程大学、哈尔滨工业大学、复旦教授朱杰进等33家中国公司及机构被列为“实体清单”。进入实体名单的企业无法与美国进行任何商业交易。新智元

华为发布《自动驾驶网络解决方案白皮书》

近日，全球分析师大会HAS 2020期间，华为面向全球发布《自动驾驶网络解决方案白皮书》，系统阐述未来网络架构、运维架构和其关键技术，通过网元、网络和云端的三层AI能力协同，使能网络走向极简超宽、运维迈向人机协同，为运营商和产业伙伴的数字化转型提供实践参考。华为

机器之心发布百页中国人工智能企业“智能战疫”与“疫后经营”调查报告

随着国内疫情得到有效控制，全国各地企业正式复产。为明确疫后中国人工智能企业经营现状与发展需求，更有针对性地开展服务工作，机器之心邀请中国人工智能产业细分赛道代表创企参与问卷调查，针对人工智能企业复工复产程度、业务受疫情影响程度、应对手段与反思感悟、疫情后企业经营重点、对后疫情时代产业发展机遇的判断等方面进行了详细调研，并得到了141家企业的积极反馈与支持。作为“智能战疫联合行动”的尾声，同时也是“产业智能联合行动”的序幕，机器之心特发布《中国人工智能企业“智能战疫”与“疫后经营”调查研究》报告，供人工智能企业了解同行现状、认清行业位置，恢复生产运营，回归发展快车道；供智能化产业链企业了解人工智能厂商经营稳定性，便于更好指定采购、战略合作、投资等商业决策；供政府部门、研究机构等公共部门了解人工智能科技企业疫后经营现状与发展需求，辅助决策参考。机器之心

人物 2020全球顶尖计算机科学家排名发布：智源研究院理事长张宏江大陆学者排行第一

近日，Guide2Research网站发布了2020年度全球计算机科学和电子领域TOP科学家排名。该排名旨在为学术社区提供更多可见性，让更多人了解计算机科学领域影响力较大的研究贡献。该排名收集了6000余名科学家的资料，并按照h-index、DBLP、引用量等多项指标进行评估，从中选出了top 1000科学家，其中智源研究院理事长张宏江大陆学者排行第一。机器之心

竞赛 CrowdHuman：智源联合旷视开启2020 CrowdHuman人体检测大赛

2020年5月，北京智源人工智能研究院联合旷视科技共同开启了2020 CrowdHuman人体检测大赛，并同步发布了大规模人体检测数据集。本次比赛的训练集和验证集共有470000个人类实例，平均每个图像有22.6个人，在数据集中有各种类型的遮挡关系。每个人类实例都用头部边界框，人类可见区域边界框和人体全身边界框进行标注。智源社区

数据 Facebook：仇恨Memes挑战和有害多模态内容研究数据集

Facebook AI公布了从美国Facebook公共群组中收集的含有10000个恶意表情包段子的数据集，他们将它起名为“仇恨meme数据集”。这个数据集用于评估消除仇恨言论模型的性能，并对多模态学习模型进行微调。它能从多种形式媒体端输入，以衡量多模态推理成果。目前，最精确的AI驱动的多模态模型（Visual BERT COCO）的准确率达到了64.7%，而人力员工在数据集上的准确率达到了85%，这也反映了数据处理的难度。 Facebook AI

代码 DAM: 面向视觉对话的高质量回复生成框架

该成果发表于IJCAI 2020。在视觉对话领域中，大量的前人工作都集中在如何更好的编码输入的多模态信息，这是从信息输入的角度对输入的多模态信息进行理解；而对于句子的生成，显然是怎样更好的解码信息更加重要，由此作者从信息输出的角度对编码的多模态信息进行更好的语义表达和文本输出。如前文所述，传统的视觉对话生成式解码器仅仅是对输入的全局语义信息进行解码，导致回复中包含了大量的重复单词。作者提出了一种新颖的层次化的解码框架DAM，即在解码的过程中综合的考虑整体级别的全局语义（response-level semantics）和单词级别的局部语义（word-level semantics）。全局语义负责保证生成回复的整体语义的连贯性和准确性，局部语义负责捕获当前生成的词的特有的语义信息。中科院信工所

VoVNet：实时目标检测的新backbone网络

目前基于深度学习的目标检测模型无不依赖CNN分类网络来作为特征提取器，如SSD采用VGG，YOLO采用DarkNet，Faster R-CNN采用ResNet，一般称这些网络为目标检测模型的backbone。ResNet是目标检测模型最常用的backbone，DenseNet其实比ResNet提取特征能力更强，而且其参数更少，计算量（FLOPs）也更少，用于目标检测虽然效果好，但是速度较慢，这主要是因为DenseNet中密集连接所导致的高内存访问成本和能耗。VoVNet就是为了解决DenseNet这一问题，基于VoVNet的目标检测模型性能超越基于DenseNet的模型，速度也更快，相比ResNet也是性能更好。 Github

港科大开源深度神经网络训练新方法DHM：让CNN更具泛化性

本文发表于CVPR 2020。深度监督网络（DSN）的提出，本意是为了缓解梯度流通过长链带来的优化困难。但是，它仍然容易受到包括层次表示生成过程的干扰和优化目标不一致等问题的影响。作为对以往训练策略的补充，港科大李铎、陈启峰团队提出了动态分层模仿机（Dynamic Hierarchical Mimicking），这是一种通用的特征学习机制，以增强的泛化能力加速CNN训练。部分受DSN的启发，研究团队从给定神经网络的中间层中，巧妙的设置边界分支。这些分支可以在主干的某些位置动态地出现，不仅保留了骨干网络的特征表达能力，还可以沿着自己的路径产生更多的多样化表示。进一步的，作者通过一个带有概率预测匹配损失的优化公式，促进不同分支之间的多级交互，从而保证了更稳健的优化过程和更好的表示能力。最终，在分类与实例识别任务上的实验证明了，该方法能够超越最先进的CNN架构的同类方法。香港科技大学

新工具 OpenAI发布GPT-3，1750亿个参数，小样本学习

OpenAI于5月28日发布了GPT-3论文的预印本。本论文说明了，扩展语言模型可以极大地提高任务无关、小样本学习的性能，有时甚至可以与最先进的微调方法一试高下。具体来说，本文训练GPT-3（一种具有1750亿个参数的自回归语言模型，比以前的任何非稀疏语言模型多10倍），并在小样本设置下测试其性能。对于所有任务，应用GPT-3无需进行任何梯度更新或微调，而仅通过与模型的文本交互指定任务和少量演示即可。GPT-3在许多NLP数据集上均具有出色的性能，包括翻译、问题解答和完形填空任务，以及一些需要即时推理或领域适应的任务，例如解释一些词，在句子中使用新词，或执行3位数的算术运算。同时，作者也发现，对一些数据集GPT-3的小样本学习仍然困难重重，对一些数据集，GPT-3仍然存在与大型Web语料库训练相关的方法论问题。 OpenAI

花瓣搜索：华为搜索引擎面世

2月份，华为推出了全新的AppGallery应用商店。3月份，华为推出了两款搜索应用，即“Search”和“AppSearch”，并在德国进行测试上线。4月份，华为在AppGallery上线了 HERE WeGo 地图和导航解决方案，这是华为取代谷歌地图的一次尝试。近日，华为官方针对谷歌最为核心的服务搜索引擎，发布了“Petal Search”搜索引擎，集成了此前的“Search”和“AppSearch”，目前在AppGallery上已经可以下载。机器之心

Google发布官方中文版机器学习术语表

Google工程教育团队已经发布了多语种的Google机器学习术语表，该术语表中列出了一般Machine Learning术语和TensorFlow专用术语的定义。语言版本包括西班牙语，法语，韩语和简体中文。数据派THU

应用 OpenAI最新成果：看看函数名和注释，AI就能自动生成代码

程序员有没有想过，有一天，码农是不需要写代码的。只需要提供函数签名和注释，代码就能自己在屏幕上打出来。“搬砖码农可以都辞退了，留下项目经理提需求即可。”这就是 OpenAI CEO Sam Altman 刚刚介绍的最新研究成果——根据函数签名和注释，利用语言模型自动生成Python代码。这个语言模型用到了和OpenAI的GPT模型相同的无监督技术。机器之心

Facebook发布新购物AI，通用产品识别的计算机视觉系统让“一切皆可购买”

Facebook发布最新AI技术，要让“任何物品皆可购买”成真——基于物品分割、检测和分类三个方面的进步。Facebook的长期目标是创建一个全面的AI驱动的系统，实现无缝消费。具体来说，Facebook新开发了三个AI系统。第一个是通用计算机视觉系统GrokNet，目标是在图片或视频中识别所有的产品，实现“一切皆可购买”。第二个可以通过处理某个产品的2D视频而创建其3D视图，并且还能带来强大的AR试穿。第三个被称为实例蒙版投影，可以从图像中自动分割识别服装产品。新智元

英伟达利用GAN发布“山寨”游戏创造器，已完美复现《吃豆人》

GAN作为一种深度学习训练的“左右互博术”在造假界曾“声名鹊起”。前有“换脸术”，后有“假新闻”，技术作恶论也以GAN为源头甚嚣尘上。但事情总有两面性，例如DeepMind曾经改造了“史上最强”的BigGAN，让新的算法去做图像分类，刷新了ImageNet无监督表征学习的纪录。而近日，英伟达研究院创建的强大新AI模型GameGAN也让四十年前的《吃豆人》游戏再度重生。用神经网络支撑的GAN技术创造出逼真的游戏，英伟达此项工作属全球首个。进一步，GameGAN经过5万个回合的游戏训练，能够在无需基础游戏引擎的情况下生成完整版的《吃豆人》游戏。 IT之家

会议 IJCAI 2020将直接到2021年召开

原定于7月11日在日本横滨召开的IJCAI，将延期半年，至2021年1月召开。具体来说要点如下：1. 本将7月份在日本横滨召开的IJCAI-PRICAI 2020显然不能召开了；2. 会议推迟到2021年的1月份；3. 至于是线上会议还是线下会议，还需要根据疫情发展再做观察；4. 线下的话（很可能是在1月5~10日），考虑到国际旅行限制，也将支持远程报告；5. 线上的话（具体日期待定，但在1月份），IJCAI要做一个高质量的会议；6. 无论如何，将尽可能确保做到“面对面的会议”（in-person conference）；7. 该发布的信息还正常发布，IJCAI议程将在7月份如期发布，且能在IJCAI官网上查到。 AI科技评论

经验 学术科技期刊投稿信（Cover Letter）写作指南？

投稿信（Cover Letter）是向学术科技期刊投稿时不可或缺的材料。往往只有一页的投稿信却能很大程度地决定稿件的“生死”。投稿信的作者一般为通讯作者，但某些导师也会让一作参与写作。面对这样的挑战，本文旨在给读者们一些启发和参考。微算云平台

以上是《智源社区AI周刊》第24期的内容，智源研究院编辑团队将本着“提供真正内行的AI资讯”的目标，不断优化和完善我们的内容服务，各位读者们如有批评意见，或者好的建议，请在评论区留言告诉我们。谢谢大家。

特约编辑：刘布楼常政刘沂喆

内容中包含的图片若涉及版权问题，请及时与我们联系删除