智源社区AI周刊#62：CVPR 2021结果出炉，1663篇上榜

导读 为了帮助中国人工智能科研、从业者更好地了解全球人工智能领域的最新资讯，智源研究院编辑团队本周整理了第 62 期《智源社区AI周刊》，从学术（论文和新思想、学术会议等），行业和政策（技术产业政策、项目基金申请、技术投融资等），人物（学者的人事变动和获奖情况）、数据（数据集），工具（新工具和应用推荐），求职（职场研究报告等）等诸多角度，鸟瞰过去一周人工智能领域值得关注的动态。

过去一周（2021/02/22~2021/02/28），值得关注的内容有以下3方面：

一、3月1日，CVPR公布了今年的录取论文，共有7015篇有效投稿，其中进入Decision Making阶段的共有约5900篇，最终有1663篇突出重围被接收，录用率大概为23.7%。（详情参见本周报“会议”栏目） 二、微软推出了一款新的语言系统——Speller100，官方提到，这是有史以来覆盖最多种语言、准确性最高的拼写校正系统之一，它由许多AI模型组成，这些模型可以理解超过100种语言。Speller100目前能够支持Bing上的所有拼写纠正。（详情参见本周报“应用”栏目） 三、来自谷歌的研究人员发布了Tensorflow 3D工具框架，这是一个主要针对3D深度学习设计的高度模块化Tensorflow工具包，提供了一系列通用的3D操作，包括了损失函数、数据处理工具、模型和度量标准，使更多的研究人员可以运用这一工具训练并部署前沿的3D场景理解模型。（详情参见本周报“新工具”栏目）

下面是各个要点的详情介绍。

论文推荐

香港中文大学&腾讯AI实验室｜一个分析文本生成过程中重复问题的理论 A Theoretical Analysis of the Repetition Problem in Text Generation 近年来，包括翻译、摘要、语言模型等在内的文本生成任务迅速增长。尽管取得了显著的成就，但重复问题在几乎所有的文本生成模型中都被观察到，广泛地破坏了生成性能。为了解决重复问题，人们提出了许多方法，但没有现成的理论分析来说明问题发生的原因和解决方法。本文针对重复问题提出了一个新的理论分析框架。作者首先定义平均重复概率（ARP）来定量地描述重复问题。然后，作者对马尔可夫生成模型进行了广泛的分析，得出了平均重复概率的几个上界，并有了直观的理解。论文表明，大多数现有的方法本质上都是显式或隐式地最小化上界。根据文中理论，作者发现，不幸的是，重复问题是由语言本身的特性引起的。一个主要的原因是，有太多的词预测同一词和下一个词的概率很高。因此，很容易回到那个词，形成重复，文中称之为高流入问题。此外，作者通过推导一般代模型平均重复概率的集中界，将文中的分析推广到更广泛的代模型。最后，在理论上界的基础上，作者提出了一种新的重新平衡编码方法来缓解高流入问题，从而减少上界。实验结果表明，作者的理论框架适用于一般的生成模型，作者所提出的再平衡编码方法显著地缓解了翻译任务和语言建模任务中的重复问题。 论文下载

短文匹配 | LET：面向中文短文本匹配的语言知识增强型图形转换器 LET: Linguistic Knowledge Enhanced Graph Transformer for Chinese Short Text Matching 中文短文本匹配是自然语言处理中的一项基本任务。现有的方法通常采用汉字或单词作为输入标记。它们有两个局限性：1）一些汉语词汇多义，语义信息得不到充分利用。2） 有些模型会遇到分词带来的潜在问题。本文引入知网作为外部知识库，提出了一种语言知识增强图变换器（LET）来处理词语歧义。此外，我们还采用字格图作为输入来维护多粒度信息。我们的模型也是对预先训练的语言模型的补充。在两个中文数据集上的实验结果表明，我们的模型优于各种典型的文本匹配方法。研究还表明，语义信息和多粒度信息对文本匹配建模具有重要意义。 论文下载

图神经网络 | 迈向鲁棒的图对比学习 Towards Robust Graph Contrastive Learning 在本文中，作者研究了图上的对抗鲁棒自监督学习问题。在对比学习的框架下，作者引入了一种新的方法，它通过以下方式提升了学习到的表征的对抗鲁棒性：（1）对抗性变换（2）移除某些边、嵌入另外的边。作者在一系列初步的实验中对学习到的表征进行了评价，得到了性能优异的实验结果。作者认为该工作对于实现鲁棒的图对比学习是重要的一步，它可以被作为一个图对比学习中的辅助任务。 论文下载

华东师范大学 | MSTN：用于单图像去雾的高效，准确的多尺度拓扑网络 Efficient and Accurate Multi-scale Topological Network for Single Image Dehazing 单图像去雾是一个具有挑战性的ill-posed问题，最近几年引起了极大的关注。最近，卷积神经网络在图像去雾方面取得了巨大的成功。但是，对于这些日益复杂的模型，仍然难以从模糊图像中恢复准确的细节。在本文中，我们注意输入图像本身的特征提取和利用。为实现此目的，我们提出了一种多尺度拓扑网络（MSTN），以全面探索不同尺度的特征。同时，我们设计了多尺度特征融合模块（MFFM）和自适应特征选择模块（AFSM），以实现不同尺度下特征的选择和融合，从而实现了渐进式图像去雾。该拓扑网络提供了大量搜索路径，这些路径使网络能够提取丰富的图像特征以及强大的容错性和鲁棒性。另外，当融合不同的尺度表示时，ASFM和MFFM可以自适应地选择重要特征并忽略干扰信息。进行了广泛的实验，以证明我们的方法与最新技术方法相比的优越性。 论文下载

WWW 2021 | 基于富文本网络学习的最小监督结构富文本分类 Minimally-Supervised Structure-Rich Text Categorization via Learning on Text-Rich Networks 文本分类是Web内容分析中的一项基本任务。考虑到不断发展的Web数据和新兴的类别，而不是费力的监督设置，本文将重点放在最小监督的设置上，该设置旨在有效地对文档进行分类，并为每个类别添加了两个种子文档。我们认识到，从Web收集的文本通常结构丰富，即带有各种元数据。可以轻松地将语料库组织到一个文本丰富的网络中，将原始文本文档与文档属性，高质量短语，标签表面名称作为节点以及它们的关联作为边缘相结合。这样的网络提供了语料库异构数据源的整体视图，并实现了基于网络的分析和深度文本模型训练的联合优化。因此，我们通过从文本丰富的网络中学习，提出了一种用于最小监督分类的新颖框架。具体来说，我们联合训练了两个具有不同归纳偏差的模块-一个用于文本理解的文本分析模块和一个用于区分类别，可扩展的网络学习的网络学习模块。每个模块从未标记的文档集中生成伪训练标签，并且两个模块通过使用合并的伪标签进行共同训练来相互增强。 论文下载

观点

Yoshua Bengio：反向传播不符合大脑的解剖学构造和生理学，特别是在大脑皮层当中 反向传播是深度学习不可或缺的一部分。正是因为反向传播算法，神经网络才能得到复兴并被大量应用。该算法使深度网络能够从数据中学习，赋予它们分类图像、识别语音、翻译语言、理解无人驾驶路况以及完成大量其他任务的能力。反向传播算法也遭到了诸多质疑，很多研究者认为真正的大脑不太可能依赖同样的算法。Yoshua Bengio表示，这不仅仅因为「大脑能够比最先进的人工智能系统更好、更快地概括和学习」。反向传播不符合大脑的解剖学构造和生理学，特别是在大脑皮层当中。在Hinton的启发下，Bengio和其他许多学者都一直在思考更具生物学意义的学习机制，希望发现可替代反向传播的机制。在这些机制当中，反馈对比、平衡传播和预测编码理论具有独特的应用前景。一些研究人员还将某些类型的皮层神经元和注意力等特性加入到他们的模型中。所有这些努力都使我们距离理解可能在大脑中起作用的算法更进了一步。 【查看详情】

行业与政策

埃森哲2021技术展望：技术堆栈成竞争关键，数字孪生投资增加 埃森哲最新的技术展望报告显示，公司领导者应停止等待新常态的到来，并将业务和技术战略合并为一个有凝聚力的计划。这是制定大流行后战略和掌握变化的关键一步。报告还确定了未来三年企业加速和掌握变革要立即解决的五个趋势：搭建面向未来的技术架构，夯实企业发展地基；构建智能孪生并将镜像环境融合，将使得企业更具敏捷性；技术普众，人机融合全员创新；无论身处何处，都可就地开展柔性协作；从我到我们，多方信任，从根本上革新合作伙伴关系。 【查看详情】

赛迪智库：人工智能产业最新发展趋势 当前，以新一代人工智能为代表的科技和产业革命正在孕育兴起。数字化、网络化、智能化的信息基础设施加速构建，以信息通信、生命、材料科学等交叉融合为特征的集成化创新、跨领域创新渐成主流，围绕“智能+”打造的产业新应用、新业态、新模式不断涌现，人工智能的“头雁”效应得以充分发挥。预计2021年，人工智能将加速成为构建现代化的数字经济体系、推动经济社会高质量发展的重要驱动力量，作为“新型基础设施”的一部分与5G、云计算、大数据、工业互联网等新技术深度融合，形成新一代信息基础设施的核心能力，为数字经济发展提供底层支撑。 【查看详情】

GPU芯片公司摩尔线程完成数十亿元融资 2020年10月才成立的芯片公司摩尔线程已完成两轮融资，金额高达数十亿。刚刚完成的Pre-A轮融资由深创投、红杉资本中国基金、GGV纪源资本联合领投，招商局创投、字节跳动、小马智行、融汇资本、海松资本、闻名投资、第一创业、五源资本、和而泰、明浩等联合参投（排名不分先后）。摩尔线程是国内唯一一支真正世界级的、能够覆盖GPU研发设计、生产制造、市场销售、服务支持等完整架构的成熟团队。主要成员拥有多颗GPU芯片多代工艺大规模量产的丰富经验……团队核心成员主要来自NVIDIA，同时吸引了Microsoft，Intel，AMD，ARM等各大科技公司的研发和产品团队的核心力量加盟。 【查看详情】

人物

中国人工智能学会2021年拟推选院士候选人公示 四位候选人及其研究成果如下：北京大学王龙，长期致力于控制理论与应用研究，在参数摄动系统控制、多智能体协作与控制、复杂网络化系统控制等方面作出了一系列系统性的创新工作；清华大学施路平，类脑计算方向。研制了世界首款异构融合类脑芯片和系统，提出类脑计算完备性基础理论和层次系统架构；中科院自动化所胡卫明，主要研究计算机视觉、视频信息处理与安全等方向。在视觉运动模式学习与理解上，提出了系统性创新理论与方法；国防大学刘增良，创建了因素神经网络（FNN）智能工程理论，提出了知识因素表示的原子模型和关系模型，为深度学习不确定性并行推理与动态决策、对策研究及学科建设奠定了理论基础。 【查看详情】

数据

ROAD：用于自动驾驶的道路事件感知数据集 人类以整体方式驾车行驶，这尤其需要了解道路事件及其演变。因此，将这些功能注入自动驾驶汽车具有使态势感知和决策能力更接近人类水平性能的潜力。为此，我们首次了解了用于自动驾驶的道路事件感知数据集（ROAD）。ROAD旨在测试自动驾驶汽车检测道路事件的能力，道路事件定义为由移动代理人组成的triplets，其执行的动作以及相应的场景位置。 ROAD包含22个视频，这些视频最初来自牛津RobotCar数据集，并带有边框，这些边框显示了每个道路事件在图像平面中的位置。我们还提供了一种新的增量在线道路事件感知算法作为基线，该算法基于RetinaNet随时间的inflating，对于帧级别和视频级别的事件检测，在50％时分别达到16.8％和6.1％的平均平均精度重叠。这些数字虽然很有希望，但突出了自动驾驶中态势感知所面临的挑战。最后，ROAD使学者能够研究激动人心的任务，例如复杂的（道路）活动检测，未来的道路事件预期以及根据心理状态对有感知的道路代理进行建模。 【查看详情】

北京已无条件开放5727个公共数据集，总量居全国前列 截至2020年底，北京市通过政务数据资源网向社会无条件开放92个单位5727个数据集、共计约576万条公共数据；加上有条件开放数据，北京市公共数据开放总数已达到9214个数据集、共计55.3亿条数据记录。 目前，北京市开放公共数据总量及无条件开放公共数据集数量，均居全国前列。 【查看详情】

代码

GDR-Net：用于单目6D目标姿态估计的几何引导直接回归网络 从单个RGB图像进行6D姿态估计是计算机视觉中的基本任务。当前基于表现最佳的深度学习方法依赖于间接策略，即首先在图像平面中的坐标与对象坐标系之间建立2D-3D对应关系，然后应用PnP / RANSAC算法的变体。但是，这种两阶段pipeline不是端到端可训练的，因此很难用于许多需要可区分姿势的任务。另一方面，基于直接回归的方法目前不如基于几何的方法。在这项工作中，我们对直接和间接方法进行了深入研究，并提出了一个简单而有效的几何引导直接回归网络（GDR-Net），以从密集模式以端到端的方式学习6D姿态。基于对应关系的中间几何表示。大量的实验表明，在LM，LM-O和YCB-V数据集上，我们的方法明显优于最新方法。 【查看详情】

FAT：通过频率感知转换学习低比特参数表示 学习具有低比特的卷积神经网络（CNN）具有挑战性，因为量化后性能可能会大大下降。现有技术经常通过仔细地调整量化的超参数（例如，非均匀的步长和逐层的位宽）来离散化网络权重，这是复杂且次优的，因为全精度和低精度模型具有很大的差异。这项工作提出了一种新颖的量化pipeline，即频率感知转换（FAT），它具有许多吸引人的好处。（1）FAT并没有像现有作品那样设计复杂的量化器，而是学会了在量化之前先在频域中转换网络权重，使其更适合于以低位宽进行训练。（2）使用FAT，可以使用简单的标准量化器轻松进行低精度的CNN训练，而无需进行繁琐的超参数调整。理论分析表明，FAT可同时改善均匀和非均匀量化器。（3）FAT可以轻松插入许多CNN架构中。在对ResNet-18和MobileNet-V2进行4位训练时，FAT和简单的舍入运算已经在ImageNet上获得了70.5％和69.2％的top-1精度，而没有花哨的时间，通过减少54.9X胜过了最新技术以及针对全精度模型的45.7X计算。我们希望FAT为模型量化提供新颖的视角。 【查看详情】

GraphCodeBERT：预训练数据流代码表示 本文提出GraphCodeBERT，一种预训练编程语言模型，考虑了代码的内在结构。作者没有采用像抽象语法树（AST）那样的语法级代码结构，而是在预训练阶段使用数据流，这是一种语义级的代码结构，对变量之间的“值从哪里来”的关系进行编码。这样的语义级结构很简洁，不会带来不必要的AST层次结构，而AST的属性使模型更高效。作者开发了基于Transformer的GraphCodeBERT，除了使用掩蔽语言建模的任务外，还引入了两个结构感知的训练前任务。一种是预测代码结构的边缘，另一种是对齐源代码和代码结构之间的表示。在四个任务上评估模型，包括代码搜索、克隆检测、代码翻译和代码改进。 【查看详情】

教程

Hinton独自一作新论文：如何在神经网络中表示“部分-整体层次结构”？ 局部和整体的一致性表示似乎一直是Hinton的研究重点。比如，胶囊网络通过局部到整体的动态路径选择一致性来学习识别，近期Hinton还将其扩展到了无监督学习，并应用了Transformer架构；对比学习则学习一种表示，使得同一幅图像的的各个局部具有相似的表示；认知神经科学出身的Hinton还一直坚持探索着大脑的学习机制，比如back relaxation试图在自顶向下表示和自底向上表示之间产生一致性，而这又和对比学习有联系。这篇论文没有描述工作系统，而是单单提出了一个关于表示的想法。这个想法能够把Transformer、神经场（neural fields）、对比表示学习、蒸馏和胶囊等先进观点整合到一个名为“GLOM 1”的设想系统中。 【查看详情】

何向南教授团队：对话推荐系统中的进展与未来挑战 推荐系统为工业界带来了巨大的收益。大多数推荐系统都是以静态的方式工作，即从用户历史的交互中来推测用户的兴趣爱好从而做出推荐。然而，这样的方式有缺陷，具体来说，两个较重要的问题无法被解答：用户目前具体喜欢什么？用户为什么喜欢一个商品？对话推荐系统（Conversational Recommender Systems，CRSs）的出现，从根本上解决这个问题。其打破了传统静态的工作方式，动态地和用户进行交互，获得用户的实时反馈，进而向用户做出心仪的推荐。此外，借助自然语言的这一工具，CRSs还可以灵活地实现一系列任务，满足用户的各种需求。本文将总结CRSs中的五个任务梳理其难点。最后本文对CRSs未来的科研方向进行了探讨和展望。 【查看详情】

DeepMind：《图神经网络理论基础》 在这次演讲中，讲者将尝试对GNNs提供一个“鸟瞰”的视角。在快速学习使用图表示学习的动机之后，我将从排列不变性和等变性的第一原则推导出GNN。通过这一视角讲者将描述来自不同领域 （图嵌入、图信号处理、概率图模型和图同构测试）的研究人员是如何独立地得出本质上相同的GNN概念的。 【查看详情】

度量学习中关于排序损失函数的综述 深度学习的检索正式的说法为度量学习。在这个学习范式中，神经网络学习一个嵌入——比如一个128维的向量。这样的嵌入量化了不同对象之间的相似性，如下图所示。学习后的嵌入可以进行搜索、最近邻检索、索引等。本文比较了各种损失的公式和应用。综述分为两部分。第一部分对对比损失和三元组损失进行了对比。第二部分将介绍N-pairs损失和Angular损失。 【查看详情】

新工具

谷歌发布Tensorflow 3D工具包，助力三维场景理解 随着3D传感器（如激光雷达、深度相机、毫米波雷达等）的不断发展和普及，处理这些传感器信息的3D场景理解技术也需要不断更新。有了这些技术，机器学习系统可以利用这些传感器，更好地引导机器人和自动驾驶汽车在真实世界中运动和操作；同时，也能为提升增强现实提供有效的技术保障。近年来，这一计算机视觉方向在3D场景理解方面取得了长足的进步（如运动3D目标检测、透明物体检测等），但却缺乏高效的研究工具和可应用于3D数据的充分资源。为此，来自谷歌的研究人员发布了Tensorflow 3D（TF 3D）工具框架，这是一个主要针对3D深度学习设计的高度模块化Tensorflow工具包，提供了一系列通用的3D操作，包括了损失函数、数据处理工具、模型和度量标准，使更多的研究人员可以运用这一工具训练并部署前沿的3D场景理解模型。 【查看详情】

在深度学习框架之间共享张量——内存张量结构DLPack的PythonAPI 对于DLPack，深度学习从业人员或多或少都会有了解，诸如Tensorflow、PyTorch等深度学习框架，确实为深度学习的快速原型设计和模型部署提供了强大的工具箱。但是，不幸的是，它们的易用性通常以碎片化为代价：他们仅仅限于对每个框架单独使用，如果对框架进行垂直整合，那么开发流程可以适用于常见用例，但实际上，打破常规可能会是个非常棘手的问题。为解决这个问题，近日开发者陈天奇更新社交媒体详细介绍了为DLPack添加PythonAPI、语义和实现细节的内容。 【查看详情】

BML CodeLab发布重磅更新 自从微软发布WSL2之后，机器学习开发者，数据科学家就可以在Windows上做原生Linux开发了。但想正常的使用，其实并不简单：安装WSL2，操作步骤太多，还会遇上各种错误；好不容易安装好WSL2，安装JupyterLab时又遇上了“无法自动打开浏览器”，即使打开了也会出现“找不到文件”的问题；安装docker后，启动容器时，还会遇上主机无法访问问题。百度BML CodeLab是一款专为国内机器学习开发者和数据科学家打造的交互式AI开发环境，最近的产品更新解决了以上所有问题：一键配好Windows WSL2 AI开发环境。 【查看详情】

应用 OpenAI科学家提出全新增强学习算法，或推动AI向真正智能学习体进化 作为机器学习的一大关键领域，强化学习侧重如何基于环境而行动，其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。但是，这种算法思路有着明显的短板：许多成功案例都要通过精心设计、信息量大的奖励机制才能实现，当遇到很少给予反馈的复杂环境时，强化学习算法就很容易碰壁。因此，过往的AI难以解决探索困难的问题，这类问题通常伴随着奖励稀疏且会有欺骗性的奖励存在。一项发表在《自然》（Nature）杂志的研究提出了一类全新的增强学习算法，该算法在雅达利（Atari 2600）经典游戏中的得分超过了人类高级玩家和以往的AI系统，在《蒙特祖马的复仇》（Montezuma’s Revenge）和《陷阱》（Pitfall!）等一系列探索类游戏中达到了目前最先进的水平。 【查看详情】

Insilico Medicine全球首次利用AI发现新机制特发性肺纤维化药物 2月24日，Insilico Medicine（英矽智能）在上海浦东举办创新成果发布会，公布了其在AI制药领域里程碑式的成果：英矽智能利用自主研发的AI新药靶点发现平台PandaOmics和AI分子生成和设计平台Chemistry42平台，获得了全球首例完全由AI驱动发现的特发性肺纤维化（IPF）疾病新靶点，以及针对该靶点设计的全新化合物。该候选药物成功进入临床前研究阶段，并即将开展临床阶段研究。 【查看详情】

微软推出当前规模最大的拼写校正系统Speller100，涵盖100多种语言 今年2月初，微软推出了一款新的语言系统——Speller100，官方提到，这是有史以来覆盖最多种语言、准确性最高的拼写校正系统之一，它由许多AI模型组成，这些模型可以理解超过100种语言。Speller100目前能够支持Bing上的所有拼写纠正。据微软介绍，到目前为止，Speller100已经将Bing中没有搜索结果的页面数量减少了30%，把用户需要手动调整搜索关键词的次数减少了5%。用户使用Bing拼写建议的次数也从8%增加到了67%。 【查看详情】

麻省理工学院开发AI气味检测系统 已有大量研究表明，不同癌症的患者会散发出某些特别的气味，这些气味微乎其微，几乎不可能被识别出。但巧妙的是，狗狗的嗅觉比人类嗅觉灵敏得多，大概比人类的高一百万倍！因此，受过训练的狗可以通过嗅闻方式检测出癌症及其他疾病，这就是闻出癌症的缘由。而现在，麻省理工学院（MIT）和其他机构的研究人员从这些“嗅癌犬”身上得到灵感，共同提出了一种人工智能（AI）气味检测系统。该AI系统可以自动检测出空气样品中的化学成分和微生物含量，“嗅觉”灵敏度甚至比狗鼻子还要高。该系统还利用机器学习过程，可以识别出带有疾病的样本的独特特征。 【查看详情】

会议

CVPR2021结果出炉，1663篇上榜 3月1日，CVPR公布了今年的录取论文，共有7015篇有效投稿，其中进入Decision Making阶段的共有约5900篇，最终有1663篇突出重围被接收，录用率大概为23.7%（1663/7015）。 【查看详情】

求职

中国图象图形学学会《2020年度中国计算机视觉人才调研报告》正式出炉 极视角旗下开发者生态—极市平台、中国图象图形学学会与德勤联合推出《2020年度中国计算机视觉人才调研报告》。本次调研问卷结果统计，85.84%的计算机视觉人才填写了一线城市作为未来意向发展城市：北京（27.59%）、深圳（24.92%）、上海（22.78%）、广州（10.55%）。31.86%的人才填写了新一线城市：如杭州（7.15%）、南京（5.74%）、成都（3.74%）、武汉（2.47%）。现阶段，计算机视觉人才的研究领域集中在目标检测、图像分割、文本理解和目标跟踪几个方向。同时，随着技术的不断深入，计算机视觉技术整体研究领域呈现出多元化的特点：抠图Matting、医学影像处理识别、图像增强、图像修复与超分辨、3D视觉、遥感与航拍影像处理识别也是本领域人才关注的方向。 【查看详情】

2021/03/02 智源社区招聘信息汇总 为大家整理了智源社群内近期发布的招聘帖，包含顺丰科技、快手MMU音频中心和循环智能等公司的招聘需求。包括社招岗位和实习生岗位。 【查看详情】

以上是《智源社区AI周刊》第61期的内容，智源研究院编辑团队将本着“提供真正内行的AI资讯”的目标，不断优化和完善我们的内容服务，各位读者们如有批评意见，或者好的建议，请在下方评论区留言指出。谢谢大家。

内容中包含的图片若涉及版权问题，请及时与我们联系删除