导读 为了帮助中国人工智能科研、从业者更好地了解全球人工智能领域的最新资讯，智源研究院编辑团队本周整理了第52期《智源社区AI周刊》，从学术（论文和新思想、学术会议等），行业和政策（技术产业政策、项目基金申请、技术投融资等），人物（学者的人事变动和获奖情况）、数据（数据集），工具（新工具和应用推荐），求职（职场研究报告等）等诸多角度，鸟瞰过去一周人工智能领域值得关注的动态。

过去一周（2020/12/14~2020/12/20），值得关注的内容有以下3方面： 1. Yoshua Bengio及其学生Anirudh Goyal近期发表了一篇论文，围绕“归纳偏置”概念，展开了对当下人工智能研究现状的讨论，并提出了富有启发性的观点：不同的深度学习架构基于不同的归纳偏置，探索更大范畴的归纳偏置，是实现人工智能研究进步的关键。（详情参见本周报“观点”栏目）

  1. 近日，2021年度IEEE 冯诺伊曼奖项结果正式公布，Google高级研究员（Senior Fellow）、AI掌门Jeff Dean摘得本年度奖项，获奖理由为“表彰其对大规模分布式计算系统和人工智能系统的科学和工程贡献”。（详情参见本周报“人物”栏目）

  2. 图神经网络（GNN）从显式建模结构化数据的拓扑信息中汲取了力量。但是，现有的GNN在捕获分层图形表示方面的能力有限，这在图形分类中起着重要作用。德州大学阿灵顿分校和腾讯AI Lab的研究者创新性地提出了可以共同学习节点嵌入并提取图层次结构的层次图胶囊网络（HGCN）。具体来说，通过识别每个节点下面的异类因素来建立解缠结的图形胶囊，以使它们的实例化参数表示同一实体的不同属性。为了学习分层表示，HGCN通过明确考虑零件之间的结构信息来表征下级胶囊（部分）和高级胶囊（整体）之间的部分-整体关系。实验研究证明了HGCN的有效性。（详情参见本周报“论文推荐”栏目） 下面是各个要点的详情介绍。

论文推荐 德州大学阿灵顿分校&腾讯AI Lab | 层次图胶囊网络 Hierarchical Graph Capsule Network* 图神经网络（GNN）从显式建模结构化数据的拓扑信息中汲取了力量。但是，现有的GNN在捕获分层图形表示方面的能力有限，这在图形分类中起着重要作用。在本文中，作者创新性地提出了可以共同学习节点嵌入并提取图层次结构的层次图胶囊网络（HGCN）。具体来说，通过识别每个节点下面的异类因素来建立解缠结的图形胶囊，以使它们的实例化参数表示同一实体的不同属性。为了学习分层表示，HGCN通过明确考虑零件之间的结构信息来表征下级胶囊（部分）和高级胶囊（整体）之间的部分-整体关系。实验研究证明了HGCN的有效性。 论文下载 | 参与讨论

中山大学 | 用于归纳关系推理的交际信息传递 Communicative Message Passing for Inductive Relation Reasoning 知识图的关系预测旨在预测实体之间的缺失关系。尽管归纳关系预测很重要，但大多数以前的工作仅限于转导环境，无法处理以前看不见的实体。最近提出的基于子图的关系推理模型提供了备选方案，可以从围绕候选三元组的子图结构中归纳地预测链接。但是，我们观察到这些方法通常会忽略提取的子图的有向特性，并削弱了关系信息在子图建模中的作用。结果，它们不能有效地处理不对称/反对称三胞胎，并且对于目标三胞胎不能产生足够的嵌入。为此，我们介绍了CoMPILE，这是基于局部有向子图结构的原因，并且对处理与实体无关的语义关系具有强烈的归纳偏差。与现有模型相比，CoMPILE通过通信内核增强了边缘和授权之间的消息交互，并实现了足够的关系信息流。此外，我们证明了CoMPILE可以自然地处理非对称/反对称关系，而无需通过提取定向封闭子图来爆炸性地增加模型参数的数量。广泛的实验显示，与具有可变归纳设置的常用基准数据集上的最新技术相比，性能得到了显着提高。 论文下载| 参与讨论 

谷歌&斯坦福 | 从大规模语言模型中抽取训练数据 Extracting Training Data from Large Language Models 本文演示了对GPT-2的攻击，GPT-2是基于公共互联网上的碎片训练的语言模型，通过攻击能提取出训练数据中数百个逐字文本序列。这些提取的样本中包括（公开的）个人身份信息、IRC对话、代码和128位UUID。文中对提取攻击进行全面评估，以了解导致其成功的因素。例如，较大的模型比较小的模型更容易受到攻击。该工作为大型语言模型的训练和发布敲响了警钟，说明在敏感数据上训练大型语言模型可能存在的隐患，同样的技术也适用于其他所有语言模型。由于随着语言变得更大，记忆的情况会变得更糟，预计这些漏洞将在未来变得更加重要。用差分隐私技术进行训练是一种缓解隐私泄露的方法，然而，有必要开发新的方法，可以在这种极端规模（例如，数十亿参数）下训练模型，而不牺牲模型精度或训练时间。更普遍的是，有许多开放性问题，有待将进一步研究，包括模型为什么记忆，记忆的危险，以及如何防止记忆等。 论文下载 | 参与讨论   南洋理工大学 | 适用于图的Transformer网络的泛化 A Generalization of Transformer Networks to Graphs  我们提出了任意图的transformer神经网络结构的一种推广。最初的transformer是为自然语言处理（NLP）设计的，它操作在表示单词之间的所有连接序列的全连接图上。这种架构没有利用图连通性归纳偏差，当图拓扑非常重要且未被编码到节点特征中时，性能会很差。与标准模型相比，我们引入了一个具有四个新属性的图transformer。首先，注意机制是图中每个节点的邻域连通度的函数。其次，位置编码由拉普拉斯特征向量表示，它很自然地推广了常用于NLP的正弦位置编码。第三，用批归一化层代替层归一化层，训练速度更快，泛化性能更好。最后，该体系结构扩展到边缘特征表示，这对任务s.a.化学（键类型）或链接预测（知识图中的实体关系）至关重要。在一个图形基准上的数值实验验证了所提出的图transformer的性能。这项工作填补了原来的transformer和可以处理任意图的图形神经网络之间的差距，前者是为有限的线形图情况设计的。由于我们的架构简单而通用，我们认为它可以作为未来希望考虑transformer和图的应用程序的黑盒。 论文下载 | 参与讨论

哈工大 | 小样本学习多标签意图检测 Few-shot Learning for Multi-label Intent Detection 本文研究了用于用户意图检测的少样本多标签分类方法。对于多标签意图检测，最先进的工作估计标签实例相关性得分，并使用阈值选择多个相关的意图标签。为了用少数例子确定合适的阈值，我们首先学习在数据丰富的域上的通用阈值经验，然后用基于非参数学习的校准将阈值调整到特定的Few-shot域上。为了更好地计算标签-实例的相关性得分，我们在表示空间中引入标签名嵌入作为锚点，将不同类别的表示细化到彼此分离的程度。在两个数据集上的实验表明，所提出的模型在1-shot和5-shot设置下均显著优于最强基线模型。 论文下载 | 参与讨论 

观点 YoshuaBengio：深度学习的未来需要“探索高级认知的归纳偏置”  Yoshua Bengio及其学生Anirudh Goyal近期发表了一篇论文，围绕“归纳偏置”概念，展开了对当下人工智能研究现状的讨论，并提出了富有启发性的观点：不同的深度学习架构基于不同的归纳偏置，探索更大范畴的归纳偏置，是实现人工智能研究进步的关键。 查看详情 | 参与讨论

行业与政策 Reddit机器学习社区热议：关于2010-2020年人工智能初创公司的思考 在2020年即将结束之际，Reddit机器学习社区的网友对2010-2020年人工智能初创公司的发展进行了回顾。在十年中，有部分机器学习驱动的初创企业失败了，其原因可归纳为如下因素或者因素组合：第一是技术因素，例如尝试解决内在的难题（例如具有长期依赖性的生成模型，即视频时长或可以说是基于无监督学习的机器翻译等）或棘手的问题等；第二是非技术性因素，例如人为因素/市场因素（竞争激烈，资金短缺，团队错误，商业模式不佳等）等。 查看详情 | 参与讨论

中国信通院发布《车联网白皮书（网联自动驾驶分册）》 2020年12月15日，在中国信通院ICT+深度观察报告会期间，中国信息通信研究院葛雨明博士发布了《车联网白皮书（网联自动驾驶分册）》。白皮书聚焦车联网支持实现自动驾驶应用，从“协同感知、协同决策、协同控制”等不同环节系统性阐述了网联自动驾驶需求和技术体系架构，总结提炼网联自动驾驶发展仍然面临的挑战，并对网联自动驾驶的协同发展路径进行展望，希望我国能抓住难得的历史发展机遇，影响形成全球广泛认同。 查看详情 | 参与讨论

创新奇智完成C轮融资，跻身人工智能独角兽 近日，创新奇智完成C轮融资，正式跻身人工智能独角兽企业阵营。本轮融资由中金甲子领投，上海国和投资、阳光融汇资本等机构跟投，老股东华兴新经济基金继续加码。华兴资本和中金公司担任本轮联合财务顾问。 查看详情 | 参与讨论

人物 IEEE 2021多项大奖出炉：谷歌AI掌门人Jeff Dean获冯诺依曼奖 近日，2021年度IEEE 冯诺伊曼奖项结果正式公布，Google 高级研究员（Senior Fellow）、AI掌门 Jeff Dean摘得本年度奖项，获奖理由为「表彰其对大规模分布式计算系统和人工智能系统的科学和工程贡献」。此外，IEEE 创始人奖章（颁发给了美国博通公司创始人Henry Samueli）、Jack S. Kilby信号处理奖章等IEEE多项荣誉也已一并颁布。IEEE 冯诺依曼奖（IEEE John von Neumann Medal）于1990年由IEEE创办，旨在表扬在计算机科学和技术领域取得突出成就的科学家。该奖项以对计算机科学具有重大贡献的现代计算机创始人之一约翰·冯·诺依曼命名。 查看详情 | 参与讨论

数据 SISAR：最大的图像超分辨率质量评估数据集  图像超分辨率（SR）技术通过增强图像的空间分辨率来提高视觉质量。质量评估指标在比较和优化SR算法中起着关键作用，但是当前的指标仅获得有限的成功，这在很大程度上是由于缺乏大规模的质量数据库，这对于学习准确而可靠的SR质量指标至关重要。在这项工作中，我们使用新颖的半自动标记方法构建了一个大型SR图像数据库，这使我们能够以可管理的人员工作量标记大量图像。生成的具有半自动评分（SISAR）的SR图像质量数据库（迄今为止最大的SR-IQA数据库）包含100个自然场景的8400张图像。 查看详情 | 参与讨论 

代码 FPT：借鉴Transformer，多方向融合特征金字塔 本篇论文提出用于特征金字塔的高效特征交互方法FPT，包含3种精心设计的特征增强操作，分别用于借鉴层内特征进行增强、借鉴高层特征进行增强以及借鉴低层特征进行增强，FPT的输出维度与输入一致，能够自由嵌入到各种包含特征金字塔的检测算法中，从实验结果来看，效果不错。 查看详情 | 参与讨论 

MASKER：用于可靠文本分类的掩蔽关键词正则化 预先训练的语言模型已经在各种文本分类任务上达到了最先进的准确性，例如情感分析、自然语言推理和语义文本相似性。然而，经过调优的文本分类器的可靠性是一个经常被忽视的性能标准。例如，一个人可能想要一个模型，它可以检测出分布异常（OOD）样本（从远离训练分布的地方抽取），或者对域转移具有鲁棒性。我们认为，可靠性的一个主要障碍是模型对有限数量的关键字的过度依赖，而不是查看整个上下文。特别地，我们发现（a） OOD样本通常包含独立关键字，而（b）跨域样本可能不总是包含关键字;在这两种情况下，过度依赖关键字都会带来问题。根据这一观察，我们提出了一种简单但有效的微调方法，即掩蔽关键字正则化（MASKER），它有助于基于上下文的预测。MASKER将该模型正则化，从剩余的单词重建关键字，并在没有足够上下文的情况下进行低置信度预测。当应用于各种预先训练的语言模型（如BERT、RoBERTa和ALBERT）时，我们证明掩码器在不降低分类精度的情况下改善了OOD检测和跨域泛化。 查看详情 | 参与讨论 

从图像集中进行自监督的视角学习 训练深度神经网络以估计物体的视角需要大量的标记训练数据。然而，众所周知，手动标记视角很难，容易出错且耗时。另一方面，从互联网（例如汽车或人脸）上挖掘许多未分类的物体类别图像相对容易。作者试 图回答这样的研究问题：是否可以仅通过自监督将这种未标记的图像集合成功地用于训练一般物体类别的视角预测网络。这里的自监督是指网络具有的唯一真正的监督信号就是输入图像本身。作者提出了一种新颖的学习框架，该框架结合了生成式分析范式，利用生成网络以视角预测的方式重构图像，并具有对称性和对抗性约束，以成功地监督该视角预测网络。结果表明，对于人脸，汽车，公共汽车和火车等几个物体类别，该方法相比较完全监督方法具有一定的竞争优势。该工作为自监督的视角学习开辟了进一步的研究，并为其提供了坚实的基线。 查看详情 | 参与讨论

教程 深度强化学习之Policy Gradient Theorem综述 Policy gradient 定理作为现代深度强化学习的基石，同时也是actor-critic的基础，重要性不言而喻。但是它的推导和理解不是那么浅显，不同的资料中又有着众多形式，不禁令人困惑。本篇文章作者试图总结众多资料背后的一些相通的地方，并写下自己的一些学习理解心得。 查看详情 | 参与讨论 

【GPT-3作者亲解】超大型语言模型少样本学习 最近的工作表明，通过对大量文本语料库进行预训练，然后对特定任务进行微调，在许多NLP任务和基准测试方面取得了实质性进展。虽然这种方法在架构中通常与任务无关，但它仍然需要成千上万个样例的特定于任务的微调数据集。相比之下，人类通常只通过几个例子或简单的指令就能完成一项新的语言任务——这是目前的NLP系统在很大程度上难以做到的。本文将讨论GPT-3，这是一种具有1750亿个参数的自回归语言模型，它演示了如何扩大语言模型可以极大地改善与任务无关的、少样本的性能，有时甚至可以达到与先前的最先进的微调方法相媲美的竞争力。GPT-3可以应用于没有任何渐变更新或微调的任务，与少数样本演示指定纯粹通过文本与模型的交互。讲者将概述GPT-3是什么以及它是如何工作的，讨论我们从这样一个系统中看到的功能，以及它们如何启用与语言模型交互的新方式，此外还将关注这些交互带来的局限性和更广泛的问题。 查看详情 | 参与讨论 

深度学习人脸识别研究综述进展 在计算机视觉领域，人脸识别是一个很重要的而且是需要长期研究的一个领域。近几年来，随着深度学习的发展，深度人脸识别的得到了很大进展。搭建一个完整的人脸识别的系统应用主要分为三个步骤：1）给定图片或者视频流采集的图像，首先进行人脸检测；2）人脸图像的预处理；3）人脸的特征表示。本文主要是对人脸识别这三个步骤中所涉及的传统以及最近比较流行的深度学习的算法进行了调研以及展望。 查看详情 | 参与讨论

新工具 微软亚洲研究院联合亚洲高校，共建开放网络平台OpenNetlab 2020年12月18日，微软亚洲研究院宣布联合清华大学、北京大学、南京大学、兰州大学、新加坡国立大学、首尔国立大学等多所亚洲地区高校，成立OpenNetLab开放网络平台联盟。通过为研究人员提供通用的分布式网络测试平台，以及真实的网络评测数据集，OpenNetLab旨在推动人工智能（AI）在网络研究中的应用与发展，构建健康、可持续的网络研究生态系统。 查看详情 | 参与讨论

TensorFlow2.4：上线对分布式训练和混合精度的新功能支持 TensorFlow2.4的更新包括对于分布式训练和混合精度的新功能支持，对NumPy API子集的试验性支持以及一些用于监测性能瓶颈的新工具。 查看详情 | 参与讨论 

应用 北京大学：基于时空融合图神经网络进行交通流量预测  针对交通流的时空数据预测复杂性问题，本文提出了一种新颖的时空融合图神经网络（STFGNN）进行交通流量预测，实验结果表明，该方法的预测性能优于其它相关基准。交通流的时空数据预测因为复杂的空间依赖性和不同道路之间的时空模式的动态趋势是一项具有挑战性的任务。现有框架通常利用给定的空间邻接图和复杂的机制来对空间和时间相关性进行建模。但是，具有有限不完整相邻连接的给定空间图结构可能会限制那些模型的有效时空依赖关系学习。此外，在解决复杂的时空数据时，现有方法通常使用单独的模块进行时空相关性，或者仅使用捕获局部或全局异构依赖项的独立组件。为了克服这些限制，本文提出了一种新颖的时空融合图神经网络（STFGNN）进行交通流量预测。 查看详情 | 参与讨论

上海交通大学&华为海思：矢量图和灰度引导下的素描草图生成 文章针对目前的铅笔素描算法基于纹理渲染，只能显示算法模拟结果，不能显示绘制过程的问题，提出了一种可视化的能够模拟铅笔素描过程的方法。 文章首先观察并统计了现实中铅笔素描的过程，获得铅笔素描的拟合函数和规律，然后进行素描笔画重建。重建过程中首先在不考虑笔画方向的条件下确定笔画灰度；然后确定笔画方向；再将得到的笔画进行区域合并以及细节增强，完成素描笔画的重建任务。 查看详情 | 参与讨论

Science公布2020十大科学突破，AI预测蛋白结构等上榜 在《Nature》公布了“2020年度十大发现”后，《Science》杂志也紧随其后，按照惯例评选了本年度十大科学突破，其中，与AI密切相关的则是“AI预测蛋白质折叠结构”。对于当选理由，《Science》在介绍说：5年来，科学家们一直在努力解决生物学上最大的挑战之一：预测精确的蛋白质3D形状。今年，他们实现了这一目标，开发了一个人工智能（AI）程序，该程序可以预测大多数蛋白质结构。 查看详情 | 参与讨论 

经验 个人深度学习工作站配置指南 工作原因一直想配置一台自己的深度学习工作站服务器，之前自己看完paper想做一些实验或者复现模型的时候只能用自己的日常PC来跑很麻烦...一方面电脑得装双系统，干活的时候就不能用作其他用途了；另一方面，即使是没有使用流程的问题，GTX1080的性能也还是弱了一些。本文是组装工作站过程中记录的详细操作流程，供有类似需求的同学参考。 查看详情 | 参与讨论

以上是《智源社区AI周刊》第52期的内容，智源研究院编辑团队将本着“提供真正内行的AI资讯”的目标，不断优化和完善我们的内容服务，各位读者们如有批评意见，或者好的建议，请不吝赐教发至：editor@baai.ac.cn。谢谢大家。

内容中包含的图片若涉及版权问题，请及时与我们联系删除