导读 为了帮助中国人工智能科研、从业者更好地了解全球人工智能领域的最新资讯，智源研究院编辑团队本周整理了第 59 期《智源社区AI周刊》，从学术（论文和新思想、学术会议等），行业和政策（技术产业政策、项目基金申请、技术投融资等），人物（学者的人事变动和获奖情况）、数据（数据集），工具（新工具和应用推荐），求职（职场研究报告等）等诸多角度，鸟瞰过去一周人工智能领域值得关注的动态。

过去一周（2021/02/01~2021/02/07），值得关注的内容有以下3方面：

一、AAAI 2021开幕式上，PC chairman Mausam公布了本届最佳论文、最佳学生论文等各大引人瞩目的奖项。其中最佳论文奖共有三篇，其中两篇一作为华人学者：一篇由来自北京航空航天大学的Haoyi Zhou、UC伯克利的Shanghang Zhang等人获得，论文提出了Transformer的改进Informer；另一篇为最佳AISI论文奖，由来自达特茅斯学院的Ruibo Liu和Lili Wang等人获得。（详情参见本周报“会议”栏目）

二、由于基于决策树的集成模型在具体实现当中，经常会遇到内存不足，硬件效率不如神经网络等问题，是推动其大规模应用的主要瓶颈之一。经过LAMDA实验室的不懈努力，新的深度森林软件包DF21在GitHub与开源中国同时开源了。该软件包尝试解决了这一方向在上述实际应用过程中所遇到的关键问题。（详情参见本周报“新工具”栏目）

三、近日，OpenAI政策研究主管Miles Brundage在推特上分享了一篇新论文，论文内容是对一个GPT-3研讨会的总结。本次研讨会围绕两个主要问题：大型语言模型的能力和局限性是什么和被广泛使用的大型语言模型的社会影响是什么进行讨论。（详情参见本周报“观点”栏目）

下面是各个要点的详情介绍。

论文推荐

Google Research | 基于样本外推的神经网络数据增强 Neural Data Augmentation via Example Extrapolation

在机器学习的许多应用中，训练数据中某些类别的示例可能得不到足够的代表，从而导致系统在测试时对这种少样本案例表现不佳。常见的解决办法是进行数据增强，例如通过复制代表性不足的样本或者启发式地创造新示例。但是这些补救措施通常无法涵盖真实示例的全部多样性和复杂性。基于此，文章提出了一种执行神经示例外推（Ex2）的数据增强方法。给定从某个分布中采样的少数样本，Ex2合成了也属于同一分布的新示例。通过在数据的数据丰富切片上模拟示例生成过程来学习Ex2模型，并将其应用于代表性不足的少样本切片。最后，作者将Ex2应用于一系列自然语言理解任务，并在多个快速学习基准上显着改进了最新技术，包括关系提取、意图分类和槽位填充等任务。 论文下载

对比学习 | 通过时序对比学习实现半监督动作识别 Semi-Supervised Action Recognition with Temporal Contrastive Learning

由于缺乏活动的标签，根据少数带有标签的视频识别动作是一个具有挑战性的问题。在本文中，作者利用「改变视频速度并不改变动作」这一事实，通过学习两通道时序对比模型来解决这个问题。具体而言，作者提出最大化两种不同速度的相同视频的编码表征之间的相似性，以及最小化不同速度下的不同视频之间的相似性。通过这种方式，我们可以从「时间」的角度使用丰富的监督信息，这些信息不会出现在无监督的视频池中。通过这种简单而有效的操纵视频播放速率的策略，本文提出的对比学习方法在多个不同的基准数据集和网络架构上显著优于先进的、最先进的半监督图像识别方法在视频任务中的扩展方法。有趣的是，本文提出的方法可以利用领域外的未标记视频，这说明了其泛化性和鲁棒性。本文作者通过严格的消融分析来验证了本文提出的方法。 论文下载

联合学习| 具有多元高斯积的贝叶斯联合学习框架 A Bayesian Federated Learning Framework with Multivariate Gaussian Product

联合学习（FL）允许多个客户通过模型聚合和局部模型训练的周期来协作学习全局共享的模型，而无需共享数据。在本文中，我们全面研究了一个新的问题，称为聚合错误（AE），该问题是由服务器上的模型聚合阶段引起的，这主要是由客户端数据的异构性引起的。由于局部模型之间的差异较大，因此伴随而来的较大AE通常会导致收敛缓慢，并可能导致FL的准确性降低。为了降低AE，我们从贝叶斯角度提出了一种新颖的联合学习框架，其中采用了多元高斯积机制来聚合局部模型。值得注意的是，高斯的乘积仍然是高斯。此属性使我们能够以绝对凸的形式直接汇总局部期望和协方差，从而大大降低了AE。因此，在客户上，我们开发了一种新的联合在线拉普拉斯近似（FOLA）方法，该方法可以通过反复积累先验来估计局部后验的参数。具体而言，在每一轮中，可以将从服务器分发的全局后验视作先验，因此局部后验也可以由使用FOLA的高斯有效地近似。在基准上的实验结果达到了最先进的性能，并清楚地证明了所提出方法的优势。 论文下载

百度研究院｜上下文嵌入空间中的各向同性：集群和流形 Isotropy in the Contextual Embedding Space: Clusters and Manifolds

近年来，用于深层语言模型（如BERT和ERNIE）的上下文嵌入空间的几何性质引起了广泛的关注。对上下文嵌入的研究表明，在一个很强的各向异性空间中，大多数向量都落在一个很窄的圆锥体中，从而导致高余弦相似性。令人惊讶的是，这些语言模型是成功的，因为它们的大多数嵌入向量是彼此相似的。在本文中，作者从一个不同但更具建设性的角度论证了空间中确实存在着各向同性。作者在上下文嵌入空间中识别孤立的簇和低维流形，并引入工具对它们进行定性和定量分析。作者希望本文的研究能为更好地理解深层语言模型提供一些启示。 论文下载

翰内斯开普勒大学机器学习研究所｜你所需要的只有Hopfield网络 Hopfield Networks is All You Need

新的Hopfield网络能够以指数形式（按维数）存储多个模式，只需一次更新就可以收敛，并且具有指数级的小的检索错误。它有三种类型的能量极小值（更新的不动点）：（1）所有模式的全局不动点平均值，（2）模式子集的亚稳态平均值，和（3）存储单个模式的不动点。新的更新规则相当于变压器中使用的注意机制。这种等价性使变压器模型的头部特征化成为可能。这些磁头在第一层中优选地执行全局平均，并且在更高层中通过亚稳态执行部分平均。新的现代Hopfield网络可以集成到深度学习体系结构中，作为具有多种功能的层，用于汇集、记忆、关联和注意。我们展示了Hopfield层在不同领域的广泛适用性。Hopfield层改进了四分之三被考虑的多实例学习问题以及数十万实例的免疫系统分类的最新技术。在UCI小分类任务的基准集合上，深度学习方法通常很困难，Hopfield层在不同的机器学习方法中产生了最好的结果。最后，Hopfield layers在两个药物设计数据集上取得了最先进的成果。 论文下载

观点

OpenAI亲谈：GPT-3、大规模语言模型的局限性与出路在哪 近日，OpenAI政策研究主管Miles Brundage在推特上分享了一篇新论文，论文内容是对一个GPT-3研讨会的总结。本次研讨会围绕两个主要问题：大型语言模型的能力和局限性是什么？该问题的关键领域包括：规模型对模型功能的巨大影响；评估大型语言模型是否真正理解语言的困难；在多种数据模态下训练模型的重要性；以及使模型目标与人类价值观相一致的挑战。被广泛使用的大型语言模型的社会影响是什么？该问题的关键领域包括：难以确定通用语言模型的所有可能使用（或滥用）场景；机构在模型部署中可能面临的挑战；模型在算法层面上泄露信息的潜在可能；减少模型偏见（例如：种族、性别、宗教信仰等）存在的阻碍；以及基于语言模型的自动化应用对劳动力市场的影响。 OpenAI | 参与讨论

人物

英国将颁布新规，限制AI专业的中国留学生、学者与研究员 近日，《泰晤士报》报道，英国政府将于2月15日宣布：限制中国人在44个敏感领域学习或工作；已在这些领域学习或工作的人员，一旦被视为“构成风险”，将注销签证。这44个领域包括：人工智能、化学、物理、数学、计算机科学和一系列工程领域。根据报道，新规与美国限制中国留学生签证的依据几乎无异：担心中国学者会窃取英国的知识产权。无疑，若这一政策落实，或有成千上万名中国学者与研究人员将被限制进入英国境内，中英学术交流将受到严重阻碍。 AI科技评论 | 参与讨论

行业与政策

2021年中国AI芯片发展简报及典型厂商案例 中国乃至全球AI芯片尚处于产业早期阶段，2016年，中国AI芯片市场规模全球占比已达到20%，随着超级数据中心、各行业AI应用的落地、边缘计算及云-边-端的协同发展，中国AI芯片行业具有较高的市场潜力，预计2023年中国AI芯片市场规模占全球AI芯片行业的25%。此次报告中，甲子光年智库从AI芯片的范围、全球及中国芯片市场分析、中国典型AI芯片厂商案例等多个方面进行研究，介绍了中国AI芯片行业的发展。 甲子光年 | 参与讨论

《北京市自动驾驶车辆道路测试报告（2020年）》正式发布 2月5日，《北京市自动驾驶车辆道路测试报告（2020）》正式发布。该报告是中国目前官方唯一的自动驾驶路测报告，已经连续三年发布。2020报告主要对过去一年14家企业在京开展自动驾驶路测的情况进行总结，并全面介绍了北京在自动驾驶产业化方面的最新进展。相较以往，2020报告发布了更加全面的测试场景和测试数据，并全球首次披露了开展开放道路无人驾驶测试的信息。报告显示，2020年，北京市的智能网联发展在开放测试道路里程、企业进行自动驾驶测试总里程、自动驾驶示范运营工作以及完全无人驾驶等多个领域均匀取得突破性进展。 智联会 | 参与讨论

美国再生医学公司Cellino获1600万融资，欲用AI大规模生产诱导多能干细胞 2月1日，美国再生医学公司Cellino宣布完成1600万美元种子轮融资。本轮融资由美国麻省理工学院（MIT）创建的非盈利投资机构The Engine和投资机构Khosla Ventures领投，Humboldt Fund和8VC机构等跟投。据悉，此轮融资资金将用于进一步研发AI引导的激光编辑细胞技术。该公司表示，希望最终能实现大规模生产诱导多能干细胞（induced pluripotent stem cell，iPSC），以打破诱导多能干细胞难以规模化的技术瓶颈。诱导多能干细胞，又称人工诱导多能干细胞，是一种由体细胞脱分化形成的多能干细胞。诱导多能干细胞与胚胎干细胞拥有相似的再生能力，理论上可以分化为成体的所有器官或组织，被认为在再生医学及组织工程方面有较为广阔的应用前景，有望为治愈糖尿病、关节炎等疾病提供新思路。 ScienceAI | 参与讨论

数据

LSSED：语音情感识别的大规模数据集 语音情感识别是下一代人机交互（HCI）的重要贡献。但是，当前现有的小型数据库限制了相关研究的发展。在本文中，作者介绍了LSSED，这是一个具有挑战性的大规模英语语音情感数据集，该数据集具有从820个主题中收集的数据以模拟现实世界的分布。此外，作者发布了一些基于LSSED的预训练模型，这些模型不仅可以促进语音情感识别的发展，而且可以转移到相关的下游任务，例如难以收集数据的心理健康分析。最后，作者的实验表明了大规模数据集的必要性和预训练模型的有效性 南方科技大学 | 参与讨论

代码

DDANet：用于自动息肉分割的双解码器注意力网络 结肠镜检查（Colonoscopy）是检查和检测大肠息肉的重要标准。息肉的定位和轮廓在治疗（例如手术计划）和预后决策中起着至关重要的作用。息肉分割可为临床分析提供详细的边界信息。卷积神经网络提高了结肠镜检查的性能。但是，息肉通常面临各种挑战，例如类内和类间变异以及噪声。人工标记息肉评估需要专家花费时间，并且容易发生人为错误（例如，遗漏的病灶），而自动，准确和快速的分割可以改善划定的病灶边界的质量并降低missed rate。Endotect挑战通过在公开可用的Hyperkvasir上进行训练并在单独的unseen 数据集上进行测试，提供了基准计算机视觉方法的机会。在本文中，我们提出了一种基于双解码器注意力网络的新颖架构``DDANet''。我们的实验表明，在Kvasir-SEG数据集上训练并在看不见的数据集上进行测试的模型实现了0.7874的骰子系数，0.710的mIoU，0.7987的查全率和0.8577的精度，证明了我们模型的泛化能力。 牛津大学 | 参与讨论

RTD-Net：用于时序动作提案生成的Transformer解码器 时序动作提案生成是视频理解中一项重要且具有挑战性的任务，其目的是检测包含感兴趣的动作实例的所有时间片段。现有的提案生成方法通常基于预定义的anchor口或启发式自下而上的边界匹配策略。本文通过重新提出类似“Transformer”的架构，提出了一种用于直接动作提案生成的简单且端到端的可学习框架（RTD-Net）。为了解决时间和空间之间的本质视觉差异，我们对原始的transformer检测框架（DETR）进行了三项重要的改进。首先，为了处理视频中的先验延迟，我们用边界注意力模块替换了原始的Transformer编码器，以更好地捕获时间信息。其次，由于时间边界不明确且注释相对稀疏，我们提出了一种宽松的匹配损失，以减轻对每个地面真实情况进行单一分配的严格标准。最后，我们设计了一个三分支机构，通过明确预测其完整性来进一步改善建议置信度估计。在THUMOS14和ActivityNet-1.3基准上进行的大量实验证明了RTD-Net在temporal action proposal generation and temporal action detection任务上的有效性。此外，由于其设计简单，我们的RTD-Net比以前的proposal generation方法更有效，并且没有非极大值抑制后处理。 南京大学 | 参与讨论

SA-Net：深度卷积神经网络的Shuffle注意力 注意力机制使神经网络能够准确地专注于输入的所有相关元素，它已成为改善深度神经网络性能的重要组成部分。在计算机视觉研究中，主要有两种广泛使用的注意力机制：空间注意力和通道注意力，它们分别用于捕获像素级成对关系和通道依赖性。尽管将它们融合在一起可能会比其单独的实现获得更好的性能，但这将不可避免地增加计算开销。在本文中，我们提出了一个有效的Shuffle Attention（SA）模块来解决此问题，该模块采用Shuffle单元有效地结合了两种类型的注意力机制。具体而言，SA首先将通道维分组为多个子特征，然后再并行处理它们。然后，对于每个子特征，SA利用Shuffle Unit在空间和通道维度上描绘特征依赖性。之后，将所有子特征汇总在一起，并采用“channel shuffle”运算符来启用不同子特征之间的信息通信。所提出的SA模块既有效又高效效，例如，针对ResNet50的SA的参数和计算分别为300 vs. 25.56M和2.76e-3 GFLOP与4.12 GFLOP，并且性能提升在1.34％以上。在常用基准上的大量实验结果（包括用于分类的ImageNet-1k，用于目标检测的MS COCO和实例分割）表明，所提出的SA通过获得较高的精度而具有较低的模型复杂性，从而明显优于当前的SOTA方法。 南京大学 | 参与讨论

教程

【AAAI2021教程】常识知识获取与表示 本教程将由四个主要部分组成，每个部分由一名讲者负责，然后是一个讨论环节。我们将从介绍常识的公理化理论开始。接下来，我们将讨论跨异构常识源协调节点和关系的工作，以及这种整合对下游推理任务的影响。第三，我们将讨论如何从文本中自动提取常识知识，以及定量和定性语境化。然后，我们将讨论大型模型（如BERT、GPT-2和T5）如何学习隐式地表示通过阅读Web获得的大量常识知识。另外，如何通过精心设计的语言提示或对知识图谱元组进行微调来提取这些知识。我们将以对未来方法的讨论来结束本教程，并提出在下一代常识推理技术中结合语言模型、知识图谱和公理化。一些机器学习和语言建模的知识会有帮助，但不是强制性的：我们将介绍相关的机器学习概念，以便每个人都有机会跟随。 USC/斯坦福 | 参与讨论

一文详解正则化 正则化是机器学习和深度学习中常用的一种防止过拟合的方法，本文详细介绍了正则化的相关知识。 paperweekly | 参与讨论

悉尼大学 | 深度学习理论的最新进展 在不断批评缺乏理论基础的情况下，深度学习通常被描述为一个实验驱动的领域。大量文献迄今还没有很好地组织起来。本文回顾并组织了深度学习理论的最新进展。文献分为六类：（1）用于分析深度学习的泛化性的基于复杂性和基于能力的方法；（2）随机微分方程及其动力学系统，用于建模随机梯度下降及其变体，其特征在于深度学习的优化和泛化，其部分原因是贝叶斯推理的启发；（3）驱动动态系统轨迹的损失landscape的几何结构；（4）从正面和负面的角度来看，深度神经网络的过度参数化都起着作用；（5）网络体系结构中几种特殊结构的理论基础；（6）对道德与安全及其与概论关系的关注日益浓厚。 悉尼大学 | 参与讨论

新工具

南大周志华团队开源深度森林软件包DF21，大幅度优化性能 周志华等人一直在推动的深度森林，是探索神经网络以外AI领域重要的研究方向之一，在表格数据建模任务中已初现锋芒。但是，由于基于决策树的集成模型在具体实现当中，经常会遇到内存不足，硬件效率不如神经网络等问题，是推动其大规模应用的主要瓶颈之一。经过LAMDA徐轶轩等人的不懈努力，新的深度森林软件包DF21在GitHub与开源中国同时开源了。该软件包尝试解决了这一方向在上述实际应用过程中所遇到的关键问题，未来在各类在数据建模过程中，我们也可以便捷地使用深度森林了。 南京大学 | 参与讨论

科学计算库NumPy迎来重大更新，发布1.20版本 最近，NumPy上线了最新版本NumPy 1.20。作为Python的最重要的扩展程序库之一，也是入门机器学习的必备工具，该版本一经发布，就一度登上Hacker News等社区热搜榜单。这个版本号称是迄今为止规模最大版本，共合并了184人贡献的约684条PR，支持的Python版本是3.7-3.9。此次版本的亮点如下：NumPy函数注释；扩大SIMD使用范围，提高ufuncs的执行速度；文档改进，包括大约185个PR合并；对即将到来的Cython 3.0提供初步支持；可为数组提供滑动窗口视图。 Numpy | 参与讨论

Python又添一大科学计算库，基于Armadillo矩阵库的PyArmadillo发布 目前，Python拥有众多科学计算库，最为著名的如NumPy和SciPy。但从代数运算以及使用语法来看，这些库往往会带来不必要的繁琐，没办法直观地管理其中的数据类型。因此将Armadillo作为底层的PyArmadillo库基于这一点，重新塑造了类似Matlab和Octave等简单易用的语法。此外，由于pybind11的用法相对简单，PyArmadillo将pybind11用来连接C++与Python。该库已于近日正式发布。 机器之心 | 参与讨论

自然语言处理工具spaCy 3.0正式版发布* spaCy是具有工业级强度的Python NLP工具包，被称为最快的工业级自然语言处理工具。它支持多种自然语言处理的基本功能，主要功能包括分词、词性标注、词干化、命名实体识别、名词短语提取等。近日，spaCy v3.0正式发布，这是一次重大更新。spaCy v3.0有以下特点：具有新的基于transformer的pipeline，这使得spaCy的准确率达到了当前的SOTA水平；提供了新的workflow系统，帮助用户将原型变为产品；pipeline配置更加简单，训练pipeline也更加轻松；与NLP生态系统的其他部分有许多新的和改进的集成。 spaCy | 参与讨论

应用

使用合成图像进行热成像中的行人检测 在本文中，我们提出了一种通过两阶段来改进热红外行人检测的方法：首先，使用生成数据增强方法，然后使用生成的数据的域自适应方法适应RGB行人检测器。我们基于最小二乘生成对抗网络的模型经过训练，可以合成输入RGB图像的逼真的热红外版本，然后将其用于增加可训练的有限数量的标记热行人图像。为了使预训练的YOLOv3行人检测器适合仅在热域中的检测，我们应用了生成数据增广策略。实验结果证明了我们方法的有效性：使用不到50％的可用实际热训练数据，并依靠我们的模型在域适应阶段生成的综合数据，我们的探测器能够获得最新的结果。KAIST多光谱行人检测基准；即使有更多真实的热数据可用，将GAN生成的图像添加到训练数据中也可以提高性能，从而表明这些图像可以作为数据增强的有效形式。据我们所知，我们的检测器相对于最新技术在KAIST上获得了最佳的单模态检测结果。 佛罗伦萨大学 | 参与讨论

俄亥俄州立大学研究人员研发深度学习框架，可加速新药研发 为提高基于表型化合物的筛选效率，美国俄亥俄州立大学Ping Zhang（张平）及其研究团队发明了一套用高通量机制驱动的表型化合物筛选深度学习框架DeepCE。DeepCE利用图形神经网络和多头注意机制对化合物结构与基因、基因与基因之间的关联进行建模，从而可预测最原始的化学结构产生的差异，并以基因表达图谱的方式展示出来。此外，研究人员还提出了一种新颖的数据扩充方法，可从L1000数据集中的不可靠实验中提取有用的信息。通过将DeepCE生成的基因表达图谱与下游分类任务的观察数据进行比较，实验结果支持了DeepCE的有效性。为了证明DeepCE的价值，研究人员将其应用在药物重定位上，并产生了与临床证据一致的新型先导化合物。 ScienceAI | 参与讨论

Facebook、纽约大学合作研发AI模型, 可利用X射线预测新冠患者病情发展 近日，Facebook和纽约大学的研究人员宣布，他们已经研发了三种机器学习模型，旨在帮助预测新冠肺炎患者的病情发展趋势。这些开源的模型，只需要利用X光就可以提前四天预测病情走势以及患者可能需要补充的氧气量，它们在这方面的表现优于人类专家诊断结果。 将门创投 | 参与讨论

会议

AAAI 2021最佳论文出炉 AAAI 2021开幕式上， PC chairmanMausam公布了本届最佳论文、最佳学生论文等各大引人瞩目的奖项。其中最佳论文奖共有三篇，其中两篇一作为华人学者：一篇由来自北京航空航天大学的Haoyi Zhou（周号益）、UC伯克利的Shanghang Zhang等人获得，论文提出了Transformer的改进Informer；另一篇为最佳AISI论文奖，由来自达特茅斯学院的Ruibo Liu和Lili Wang等人获得，提出了衡量GPT-2生成中的政治偏见的指标。另一篇最佳论文奖由来自新加坡科技设计大学的Stefanos Leonardos等人获得，提出了Q学习的平滑模拟。 智源社区 | 参与讨论

以上是《智源社区AI周刊》第59期的内容，智源研究院编辑团队将本着“提供真正内行的AI资讯”的目标，不断优化和完善我们的内容服务，各位读者们如有批评意见，或者好的建议，请在下方评论区留言指出。谢谢大家。

内容中包含的图片若涉及版权问题，请及时与我们联系删除