智源社区AI周刊#77：CVPR 2021公布最佳论文候选

导读

为了帮助中国人工智能科研、从业者更好地了解全球人工智能领域的最新资讯，智源研究院编辑团队本周整理了第77期《智源社区AI周刊》，从学术（论文和新思想、学术会议等），行业和政策（技术产业政策、项目基金申请、技术投融资等），人物（学者的人事变动和获奖情况）、数据（数据集），工具（新工具和应用推荐）等诸多角度，鸟瞰过去一周人工智能领域值得关注的动态。

过去一周（2021/06/07~2021/06/13），值得关注的内容有以下3方面：

一、近日，CVPR 2021官方推特上公布了一个重要消息，即会议最重要奖项——最佳论文奖的候选名单，候选论文有32篇。在候选名单中，有华人参与的论文有18篇，作者来自国内外多所高校和研究机构。华人一作论文有16篇，包括陶大程、沈春华、何恺明等知名学者。以北京大学、香港大学、商汤研究院、浙江大学、武汉大学等国内机构学者为一作的论文有6篇。（详情参见本周报“会议”栏目）

二、此前，拜登在给总统科学顾问 Eric Lander 的一封公开信中提出了 5 大问题，在信中询问未来美国应该如何在科技领域确保领先地位，并探讨了中美从AI到合成生物学领域的竞争。日前，美国国家 AI 安全委员会主席 Robert Orton Work 针对 AI 和合成生物学在全球的重要影响力发表了评论。（详情参见本周报“观点”栏目）

三、哈尔滨工业大学社会计算与信息检索研究中心（哈工大SCIR）秦兵教授和刘铭教授近日发布了一个通用领域大规模条件性知识图谱数据集。本数据集源自于AG News文本分类语料，包含四个类别，2440 条数据，每条数据都是人工标注的条件知识图谱。该数据集的提出能够为条件性知识图谱的研究提供数据支持。（详情参见本周报“数据”栏目）

下面是各个要点的详情介绍。

论文推荐

微软|MusicBERT：符号音乐理解大规模预训练

MusicBERT: Symbolic Music Understanding with Large-Scale Pre-Training

象征性的音乐理解，指的是从符号数据中理解音乐（例如，MIDI 格式，但不是音频），涵盖了许多音乐应用程序，如流派分类、情感分类和乐曲匹配。虽然良好的音乐表征对这些应用有益，但缺乏训练数据阻碍了表征学习。受到自然语言处理中的预训练模型成功的启发，在本文中，我们开发了 MusicBERT，用于音乐理解的大规模预训练模型。为此，我们构建了一个包含超过100万首音乐歌曲的大型符号音乐语料库。自从象征性音乐包含更多的结构性（例如，条、位置）和各种信息（例如，速度、乐器和音高），只需采用 NLP 的预训练技术即可象征性的音乐只会带来边际收益。因此，我们设计了几种机制，包括 OctupleMIDI 编码和 bar-level掩蔽策略，以增强预训练符号音乐数据。实验证明了 MusicBERT 在四个方面的优势音乐理解任务，包括旋律完成，伴奏建议，流派分类，风格分类。消融研究还验证了我们在MusicBERT 中设计的 OctupleMIDI 编码和 barlevel 屏蔽策略。

查看详情及论文下载

鲁棒学习 | 引入对抗扰动的公平分类 

Fair Classification with Adversarial Perturbations

本文在一个无所不知的对手存在的情况下研究公平分类，给定一个η，允许选择任意η-部分训练样本并任意扰乱其受保护的属性。动机来自受保护属性可能由于战略误报、恶意行为者或插补错误而引起的错误设置；在这种对抗性环境中，先前的方法对错误做出随机或独立假设的程度可能无法满足他们的准确性。本文的主要贡献是一个优化框架，用于在这种对抗性环境中学习公平分类器，并提供可证明的准确性和公平性保证。框架适用于多个和非二进制受保护属性，专为大类线性分数公平性度量而设计，并且还可以处理除受保护属性之外的扰动。实验证明了本文的框架对自然假设类的保证近乎严格：没有算法可以有明显更好的准确性，任何具有更好公平性的算法都必须具有较低的准确性。根据经验，本文还评估了框架生成的分类器，并用于对一系列对手的真实世界和合成数据集的统计率。

查看详情及论文下载

超图学习 | 用于超图学习的可学习超图拉普拉斯

Learnable Hypergraph Laplacian for Hypergraph Learning

超图卷积神经网络（HGCNN）在建立图结构数据中的高阶关系方面具有很大的潜力。然而，现有的卷积滤波器大多是由预先定义的初始超图拓扑定位并确定的，无法很好地发掘真实数据中的隐式和长程关系。在本文中，作者提出了第一种基于学习的自适应超图结构构造方法 HERALD，这是一种通用的即插即用模块，可以提高 HGCNN 的表征能力。具体而言，HERALD 以端到端的方式自适应地优化超节点和超边之间的邻接关系，从而学习针对于具体任务的超图。此外，HERALD 利用自注意机制来捕捉非局部配对节点的关系。

查看详情及论文下载

Transformer | CAT：视觉Transformer中的交叉注意力

CAT: Cross Attention in Vision Transformer 

本文针对视觉Transformer中，用图像块替换单词标记所需的计算量非常大的问题，提出了视觉Transformer中的交叉注意力方法（CAT）。CAT在图像块内部交替注意来获取局部信息，在单通道特征图划分的图像块之间应用注意来获取全局信息，这两种操作的计算量都小于Transformer中的标准自我注意。通过交替应用注意内贴片和注意间贴片，实现了交叉注意力，以较低的计算成本保持性能，并为其他视觉任务构建了一个称为交叉注意力Transformer（CAT）的层次网络。

查看详情及论文下载

贝叶斯学习 | 用于贝叶斯优化的基于强化学习的小样本采集函数学习

Reinforced Few-Shot Acquisition Function Learning for Bayesian Optimization

贝叶斯优化 (BO) 通常依赖于手工采集函数 (AF) 来顺序确定样本点。然而，在实践中广泛观察到，在不同类型的黑盒函数下，在遗憾方面表现最好的 AF 可能会有很大差异。设计一种能够在各种黑匣子函数中获得最佳性能仍然是一个挑战。本文旨在通过强化少样本 AF 学习 (FSAF) 的角度来应对这一挑战。具体来说，作者首先将 AF 的概念与 Q 函数联系起来，并将深度 Q 网络 (DQN) 视为代理可微分 AF。虽然将 DQN 和现有的小样本学习方法相结合是一个自然的想法，但发现这种直接组合由于严重的过度拟合而表现不佳，这在 BO 中尤其重要，因为需要通用的采样策略。为了解决这个问题，本文提出了一个 DQN 的贝叶斯变体，它具有以下三个特征：（i）它基于 Kullback-Leibler 正则化框架学习 Q 网络的分布作为 AF。这本质上提供了 BO 采样所需的不确定性并减轻了过度拟合。 (ii) 对于贝叶斯 DQN 的先验，作者建议使用由现成 AF 诱导的演示策略，以获得更好的训练稳定性。 (iii) 在元级别，本文利用贝叶斯模型不可知元学习的元损失，它是所提出的 FSAF 的天然伴侣。此外，通过正确设计 Q 网络，FSAF 是通用的，因为它与输入域的维度和基数无关。通过广泛的实验，证明 FSAF 在各种合成和现实世界的测试函数上实现了与最先进的基准相当或更好的遗憾。

查看详情及论文下载

观点

美国AI安全委员会主席：AI和合成生物学让更多新材料的生产成为可能

此前，拜登在给总统科学顾问 Eric Lander 的一封公开信中提出了 5 大问题，在信中询问未来美国应该如何在科技领域确保领先地位，并探讨了中美从AI到合成生物学领域的竞争。日前，美国国家 AI 安全委员会主席 Robert Orton Work 针对 AI 和合成生物学在全球的重要影响力发表了评论。Robert Orton Work 在美国海军陆战队服务 27 年，退役以后开启政治生涯。他曾在2014 年至 2017 年担任美国国防部第 32 任副部长。2019 年至 2021 年，Work 与Eric Schmidt 一同担任美国国家人工智能安全委员会主席。

查看原文 | 参与讨论

行业与政策

自动驾驶公司滴滴出行正式递交IPO招股书

北京时间 6 月 11 日，滴滴正式向 SEC 递交了 IPO 招股书，股票代码为“DIDI”，高盛、摩根士丹利、摩根大通、华兴资本担任承销商。招股书显示，截至 2021 年 3 月，滴滴在包括中国在内的 15 个国家约 4000 多个城镇开展业务，提供网约车、出租车、顺风车、共享单车、共享电单车、代驾、车服、货运、金融和自动驾驶等服务。对于上述众多业务背后的商业生态，滴滴在招股书中归纳为“四个核心战略版块”，“三大业务”以及“双飞轮”。其中，被滴滴定义为构建出行未来的“四个核心战略版块”分别是共享出行平台、车服网络、电动车以及自动驾驶。而“三大业务”代表了滴滴的收入构成，分别是中国出行业务（中国网约车、出租车、代驾和顺风车等业务）、国际业务（国际出行和外卖等业务）和其他业务（共享单车和电单车、车服、货运、自动驾驶和金融服务等业务）。

查看原文 | 参与讨论

AI制药明星初创将借硅谷顶级风投SPAC上市

美东时间 6 月 9 日，AI 制药初创 Valo Health（Valo）宣布，与硅谷知名风投机构 Khosla Ventures 发起的一家 SPAC 达成合并上市交易。该交易预计将于今年第三季度完成，合并后 Valo 的估值约为 28 亿美元。Valo 堪称 “出道即巅峰”，由美国生命科学知名风投 Flagship Pioneer 孵化，带着 1 亿美元走出隐匿模式，紧接着 B 轮融资筹集近 2 亿美元，成立 2 年即开启上市进程。

查看原文 | 参与讨论

嵌入式人工智能自动驾驶公司「魔视智能」获数亿人民币B轮融资

嵌入式人工智能自动驾驶公司魔视智能宣布已完成数亿人民币的B轮融资，由博信资本领投，融玺投资、劲邦资本、紫峰资本、接力基金和华宇资本跟投。本轮融资后，魔视智能将扩建其在上海、深圳、苏州和澳大利亚的研发中心以及在江苏南通的生产制造中心，加速自动驾驶核心技术和产品研发，加强对客户的本地化支持与服务，推进自动驾驶量产落地。

查看原文 | 参与讨论

数据

哈工大SCIR | 通用领域条件性知识图谱数据集

本数据集由哈尔滨工业大学社会计算与信息检索研究中心（哈工大SCIR）秦兵教授和刘铭教授主持开发，是一个通用领域大规模条件性知识图谱数据集。本数据集源自于AG News文本分类语料，包含四个类别，2440 条数据，每条数据都是人工标注的条件知识图谱。该数据集的提出能够为条件性知识图谱的研究提供数据支持。

查看原文 | 参与讨论

代码

密歇根州立，Agios药业 | MoCL：分子图多层次领域知识对比学习

近年来，在生物医学领域利用图神经网络解决药物相关的问题飞速发展。然而，像其他任何深度学习架构一样，GNNs也是数据敏感的。虽然在现实世界中需要标签往往是昂贵的，但以无监督的方式对GNN进行预训练已被积极探索。其中，图对比学习，通过最大化成对的图增强之间的相互信息，已被证明对各种下游任务有效。然而，目前的图对比学习框架有两个限制。首先，数据增强是为一般的图设计的，因此对某些领域可能不适合或不够强大。第二，对比方案只学习对局部扰动不变的表征并没有考虑数据集的全局结构，而全局特征对于下游任务也可能是有用的。因此，本文提出了一个生物医学领域中的分子图对比学习新的框架，MoCL，一种利用局部和全局层面的领域知识来帮助表示学习的方法。局部层面的领域知识指导着增强过程，从而在不改变图形语义的情况下引入变化。全局层面的知识对整个数据集中的图之间的相似性信息进行编码，帮助学习具有更丰富语义的表示。整个模型是通过一个双重对比目标来学习的。作者在各种分子数据集上评估了MoCL的线性和半监督设置，结果显示MoCL达到了最先进的性能。

查看原文 | 参与讨论

Inria大学|GraphiT：在 Transformer 中编码图结构

我们展示了将图视为节点特征集并结合结构和位置转化器架构中的信息能够胜过用经典方法学习的表示图神经网络（GNN）。 我们的模型GraphiT通过（i）利用相对基于图上正定核的自注意力得分中的位置编码策略，以及（ii）枚举和编码局部子结构，例如短路径。 我们彻底评估这两个想法在许多分类和回归任务上，证明了每一个的有效性他们独立，以及他们的组合。 除了在标准基准测试中表现良好之外，我们的模型还承认用于解释图基序的自然可视化机制预测，使其成为需要解释的科学应用的潜在有力重要候选者

查看原文 | 参与讨论

Mila-魁北克AI、麦吉尔大学、DeepMind|基于端到端训练的开放域问答多文档阅读器和检索器

我们提出了一种用于检索增强的端到端可微训练方法开放域问答系统，结合来自多个领域的信息生成答案时检索文档。我们将检索决策建模为相关文档集上的潜在变量。由于边缘化集合检索到的文档在计算上很困难，我们使用期望最大化算法。我们迭代地估计我们的潜在价值变量，然后使用它估计更新检索器和读取器参数。我们假设这样的端到端训练允许训练信号流向阅读器，然后流向阅读器检索器比分阶段训练更好。这导致检索器能够为问题选择更多相关文档，并为受过培训的读者选择更准确的文档以生成答案。三个基准的实验数据集表明我们提出的方法优于所有现有方法2-3%绝对精确值。我们的结果还证明了学习检索的可行性，在没有明确监督检索决策的情况下改进答案生成。

查看原文 | 参与讨论

新工具

蒙特利尔大学、LIA-阿维尼翁大学、俄亥俄州立大学等|SpeechBrain：通用语音工具包

SpeechBrain 是一个开源的一体化语音工具包。 它旨在促进神经语音处理技术的研发。简单、灵活、用户友好且文档齐全。 这篇论文描述了旨在支持多个共同感兴趣的任务的核心架构，允许用户自然地构思、比较和分享新颖的语音处理流水线。SpeechBrain 在广泛的范围内实现了具有竞争力或最先进的性能的语音基准。 它还提供训练配方、预训练模型和流行语音数据集的推理脚本，以及允许任何人的教程具有基本的 Python 能力以熟悉语音技术。

查看原文 | 参与讨论

清华、智源、循环AI｜FASTMOE：快速混合专家培训系统

专家混合（MoE）在将语言模型的规模扩大到数万亿个参数方面具有强大的潜力。然而，训练万亿规模的 MoE 需要算法和系统协同设计，以实现良好调优的高性能分布式训练系统。不幸的是，唯一满足要求在很大程度上取决于 Google 的硬件 (TPU) 和软件 (Mesh-Tensorflow) 堆栈，并且不对公众开放，尤其是 GPU 和PyTorch 社区。在本文中，我们提出了 FastMoE，一种基于分布式 MoE 训练系统带有常见加速器的 PyTorch。系统提供分层界面灵活的模型设计和轻松适应不同的应用程序，例如Transformer-XL 和 Megatron-LM。与直接执行不同MoE 模型使用 PyTorch，训练速度在 FastMoE 中被高度优化复杂的高性能加速技能。系统支持放置跨多个节点的多个 GPU 上的不同专家，从而能够扩大专家数量与 GPU 数量呈线性关系。

查看原文 | 参与讨论

清华、阿里、智源｜CogView：基于文本的图像生成变换器

通用领域中的文本到图像生成长期以来一直是一个悬而未决的问题，这需要生成模型和跨模式理解。 我们提出CogView，一个 40 亿参数的 Transformer，带有 VQ-VAE 标记器以推进这个问题。 我们还展示了各种下游的微调策略任务，例如 风格学习、超分辨率、文本图像排名和时装设计，和稳定预训练的方法，例如消除非数值错误损失。CogView在模糊的MS COCO 上实现了新的最先进的 FID，表现优于以前的基于 GAN 的模型和最近的类似工作 DALL-E。

查看原文 | 参与讨论

应用

斯坦福，微软 | 借蛋白质语言模型论进化速度

预测生物同源的顺序是进化生物学的一项基本任务。对于蛋白质的进化来说，这种顺序通常是通过首先将序列排列成系统发育树来确定的，这存在限制性的假设，并可能存在大量的模糊性。本文展示了被称为语言模型的机器学习算法如何学习预测进化方向性的突变可能性，从而实现系统发育分析，解决现有方法的关键限制。作者的主要概念进展是通过局部进化预测构建一个蛋白质进化的 "矢量场"，作者称之为进化速度。本文表明，进化速度可以成功地预测不同时间尺度的进化秩序，从病毒蛋白在几年内的进化到真核生物蛋白在地质年代的进化。Evo-velocity还产生了新的进化见解，预测了病毒-宿主免疫逃逸的策略，解决了关于蛇蛋白进化的冲突理论，并揭示了水平基因转移在真核生物糖酵解进化中的关键作用。本工作表明，语言模型可以学习足够的天然蛋白质进化规则，以实现进化的可预测性。

查看原文 | 参与讨论

延世大学 | IFC：使用帧间通信Transformer的视频实例分割

我们提出了一种基于Transformer的新型视频实例分割（VIS）端到端解决方案。最近，与利用来自多个帧的更丰富信息的每帧方法相比， per-clip pipeline显示出优越的性能。然而，以前的 per-clip 模型需要大量的计算和内存使用来实现帧到帧的通信，限制了实用性。在这项工作中，我们提出了帧间通信Transformer (IFC)，它通过有效地编码输入剪辑中的上下文，显著减少了帧之间信息传递的开销。具体来说，我们提出使用简洁的记忆token作为传达信息以及总结每个帧场景的手段。通过精确编码的记忆token之间的信息交换，每个帧的特征都得到丰富并与其他帧相关联。我们在最新的基准测试集上验证了我们的方法，并获得了最先进的性能（YouTube-VIS 2019 验证集上的 AP 44.6 使用离线推理），同时具有相当快的运行时间（89.4 FPS）。我们的方法也可以应用于近乎在线的推理，以实时处理视频，只有很小的延迟。该代码将可用。

查看原文 | 参与讨论

滴滴AI Labs | 基于深度价值网络的多司机订单调度方法

本文提出了一种基于深度强化学习的乘车订单调度解决方案。通过滴滴的乘车调度平台，该方法在大规模的在线A/B测试中实现了驾驶员总收入和用户体验相关指标的显著改善。首先，针对订单调度问题，将其建模为一种新的半马尔可夫决策过程，以考虑时间扩展的调度行为。其次，提出了一种新颖的分布式状态表征层Cerebellar价值网络（CVNet），并在此基础上提出了一种新的Lipschitz正则化方案，以保证策略评估过程中值迭代的鲁棒性和鲁棒性。实际数据实验研究结果表明，CVNet对异常点具有很强的鲁棒性，对未知数据具有很好的泛化能力。大量的仿真和在线A/B测试结果表明，CVNet的性能优于其他最新的调度策略。最后，本文使用迁移学习可以进一步改进先前的结果，并有助于CVNet在城市间的扩展。

查看原文 | 参与讨论

会议

CVPR 2021公布最佳论文候选，何恺明、陶大程、沈春华等人上榜

近日，CVPR 2021官方推特上公布了一个重要消息，即会议最重要奖项——最佳论文奖的候选名单，候选论文有32篇。在候选名单中，有华人参与的论文有18篇，作者来自国内外多所高校和研究机构。华人一作论文有16篇，包括陶大程、沈春华、何恺明等知名学者。以北京大学、香港大学、商汤研究院、浙江大学、武汉大学等国内机构学者为一作的论文有6篇。

查看原文 | 参与讨论

以上是《智源社区AI周刊》第77期的内容，智源研究院编辑团队将本着“提供真正内行的AI资讯”的目标，不断优化和完善我们的内容服务，各位读者们如有批评意见，或者好的建议，请在下方评论区留言指出。谢谢大家。

内容中包含的图片若涉及版权问题，请及时与我们联系删除