智源社区AI周刊#61：数据挖掘顶会WSDM公布优秀论文

导读 为了帮助中国人工智能科研、从业者更好地了解全球人工智能领域的最新资讯，智源研究院编辑团队本周整理了第 57 期《智源社区AI周刊》，从学术（论文和新思想、学术会议等），行业和政策（技术产业政策、项目基金申请、技术投融资等），人物（学者的人事变动和获奖情况）、数据（数据集），工具（新工具和应用推荐），求职（职场研究报告等）等诸多角度，鸟瞰过去一周人工智能领域值得关注的动态。

过去一周（2021/02/15~2021/02/21），值得关注的内容有以下3方面：

一、2021年第14届国际网络搜索与数据挖掘会议WSDM将在2021年3月8日到12日于线上举行。今年此次会议共收到了603份有效投稿，最终录取篇数为112篇，录取率为18.6%。近日大会公布了优秀论文奖项（WSDM 2021 Best Paper Award Runner-Up），共有5篇论文。（详情参见本周报“会议”栏目）

二、为了将AutoML解决方案扩展到更广泛的研究社区，最近谷歌开源了一个自动、高效构建最优ML模型的平台Model Search。该平台不针对某个特定域，因而足够灵活，并且能够找出最适合给定数据集和问题的架构，同时最小化编程时间和计算资源。该平台基于TensorFlow框架构建，既可以单机运行，也可以在分布式机器设置上运行。（详情参见本周报“新工具”栏目）

三、2月16日，斯隆基金（Alfred P. Sloan Foundation）官宣2021年斯隆研究奖（Sloan Research Fellowship）的 128 名获得者名单，其中，入选华人科学家18名，计算机科学领域2名，斯坦福大学马腾宇在列。（详情参见本周报“人物”栏目）

下面是各个要点的详情介绍。

论文推荐

图神经网络 | 基于图神经网络的组合优化和推理 Combinatorial optimization and reasoning with graph neural networks 组合优化是运筹学和计算机科学中的一个成熟的研究领域。直到最近，该领域的方法主要都关注于解决孤立的实例的问题，而忽略了一个事实：这些实例实际上往往来源于相关的数据分布。然而，近年来研究人员逐渐开始使用机器学习（尤其是图神经网络）作为组合优化问题的构建模块（要么作为求解器，要么作为辅助函数）。图神经网络是一种可以有效地对组合和关系的输入进行编码的归纳偏置，这是因为它们具有排列不变性和稀疏性。在本文中，作者对这个新兴的领域近年来涌现出的关键性进展进行了回顾，旨在为优化问题和机器学习研究者提供帮助。 论文下载

蒙特利尔大学 & 魁北克AI研究所｜动态循环一致性控制的跨域对应学习 Learning Cross-Domain Correspondence for Control with Dynamics Cycle-Consistency 许多机器人问题的核心是跨领域学习通信的挑战。例如，模仿学习需要获得人与机器人之间的对应关系;模拟实景需要物理模拟器和实际硬件之间的通信;迁移学习要求不同机器人环境之间的相互适应。在这篇论文中，作者建议学习这些领域的对应，强调不同的形态(视觉和内部状态)，物理参数(质量和摩擦)，和形态(肢体的数量)。重要的是，通信学习使用未配对和随机收集的数据从两个领域。作者提出了一个动态循环，利用循环一致性约束使动态机器人的行为在两个域上一致。一旦找到了这种对应关系，然后就可以直接将在一个领域训练的策略转移到另一个领域，而不需要对第二个领域进行任何额外的微调。作者在模拟和真实的机器人上进行各种问题领域的实验。作者的框架能够在没有配对数据的情况下，将真实机器人手臂的未经校准的单目视频与模拟手臂的动态状态-动作轨迹校准。 论文下载

目标检测 | 用于半监督目标检测的无偏教师网络 UNBIASED TEACHER FOR SEMI-SUPERVISED OBJECT DETECTION 在文中，作者首先重新研究了半监督对象检测（SS-OD）中的伪标签偏差问题，在此基础上引入了“无偏老师（Unbiased Teacher）”，一种简单而有效的方法，以互惠互利的方式联合训练学生和老师。“无偏老师”由两个阶段组成。第一阶段为磨合阶段，作者首先使用可用的标记数据训练目标探测器。第二阶段为师生互学阶段，具体分为两个步骤，（1）学生学习：固定的教师生成伪标签来训练学生，而教师和学生分别被赋予弱的和强的增广输；（2）老师精细化：学生所学的知识通过网络权值的指数移动平均（EMA）传递给进展缓慢的老师。当探测器在磨合阶段训练到收敛时，切换到师生互学阶段。 论文下载

问答系统 | 面向VQA突发系统性的迭代学习 Iterated learning for emergent systematicity in VQA 尽管神经模块网络在架构上倾向于组合性，但它们需要黄金标准的布局来在实践中系统地推广。当学习布局和模块的时候，组合性并不是自动产生的，需要一个明确的压力来产生显示正确结构的布局。考虑到模块网络的布局是一个突发语言的样本，论文使用迭代学习来鼓励在该语言中结构的发展。实验表明，产生的布局支持系统泛化的神经代理解决更复杂的任务，视觉问题回答。 论文下载

知识图谱｜RNNLogic：学习在知识图上推理的逻辑规则 RNNLogic: Learning Logic Rules for Reasoning on Knowledge Graphs 本文研究了知识图谱上推理逻辑规则的学习问题。逻辑规则为模型的预测等任务提供了可解释性。现有学习规则的方法要么面临在大搜索空间中搜索的问题(如神经逻辑编程)，要么由于稀疏奖励而无效优化(如基于强化学习的技术)。为了解决这些局限性，本文提出了一个称为RNNLogic的概率模型，将逻辑规则视为一个潜在变量，同时用逻辑规则训练规则生成器和推理预测器。作者开发了一种基于EM的优化算法。在每次迭代中，推理预测器首先更新，以探索一些逻辑规则的生成推理。在E-step中，通过后验推理从所有生成的规则中选取一组既有规则生成器又有推理预测器的高质量规则；而在M-step中，规则生成器将用E步中选择的规则进行更新。在四个数据集上的实验证明了RNNLogic的有效性。 论文下载

观点

谷歌Robotics研究科学家Eric Jang：设计反向传播的生物学可信替代方法是一个错误的问题 去年4月，来自DeepMind、牛津大学和谷歌大脑的Timothy P. Lillicrap、Adam Santoro、Geoffrey Hinton等人在Nature子刊《Nature Reviews Neuroscience》发表文章，认为反向连接可能会引发神经活动，而其中的差异可用于局部逼近误差信号，从而促进大脑深层网络中的有效学习。即尽管大脑可能未实现字面形式的反向传播，但是反向传播的部分特征与理解大脑中的学习具备很强的关联性。最近，谷歌Robotics研究科学家Eric Jang发表博客，对BPDL中的反向传播观点提出质疑。Eric Jang的反对意见主要在于，设计反向传播的生物学可信替代方法压根就是一个错误的问题。BPDL的重要前提中包含了一个错误的假设：层激活是神经元，权重是突触，因此借助反向传播的学习必须在生物学习中有对应的部分。Eric Jang认为机器学习领域的一个严重错误就是，对统计学工具和最优控制算法赋予了太多生物学意义。 查看详情

行业与政策

中国智适应教育行业白皮书 自1956年首次提出“人工智能”概念起，随着计算机算力和算法技术的突破，人工智能已渗透进人类生活的方方面面，不断在模拟、延伸和扩展人的智能上演进。“智适应教育”正是教育行业演进至今的重要成果，它是指基于人工智能、大数据分析等智能技术，结合大量用户数据，针对个体学习过程中的差异性提供适合个体特征的教育形式，从而为学生提供个性化的学习体验，推动真正的“因材施教”教学理念落地。安永-博智隆全新发布本《中国智适应教育行业白皮书》，对行业发展现状、市场规模、竞争格局以及关键成功要素进行分析，对智适应OMO模式的商业形态及探索方向进行总结，并提出安永-博智隆对未来行业发展趋势的相关思考，希望可以帮助行业参与者、用户更好地认识市场，并帮助智适应教育行业砺行致远。 查看详情

基于AI的数学学习App Photomath B轮融资2300万美元 Menlo Ventures领投，跟投机构包括GSV Ventures、Learn Capital、Cherubic Ventures和Goodwater Capital等。Photomath通过OCR识别手写的数学公式，数字化，或者扫描印刷的数学题，给出解题过程（和国内很多教育公司早期产品形态类似）。全世界下载量已经达到惊人的2.2亿。创始人和CEODamir Sabol是克罗地亚人，1996年毕业于萨格勒布大学计算机专业。也是连续创业者。这次他最初的创业想法是做一个OCR技术提供商。 查看详情

决策智能公司Peak AI融资2100万美元，帮助实体经济做业务决策 英国曼彻斯特公司Peak AI成立于2014年。创始团队里，CEO Richard Potter是商务背景，CIO David Leitch是商业分析师，CTO Atul Sharma来自印度，是数据架构师。领投方是Oxx，之前的投资方MMC Ventures和Praetura Ventures跟投，新加入了一家Arete。公司累计融资4300万，没有透露估值。客户包括KFC、百事可乐这样的非科技消费巨头，帮助他们基于销售数据回答商品生产数量，更好地管理库存以及仓库的人力分配，还有精准营销和广告等。 查看详情

小马智行（Pony.ai）获 1 亿美元 C+ 轮融资 2 月 8 日，小马智行（Pony.ai）宣布获得 1 亿美元 C+ 轮融资，投资方为文莱主权财富基金文莱投资局（Brunei Investment Agency）和 CPE。 这是小马智行2021 年宣布的第一笔融资，距离上次宣布融资仅隔 3 个月。 据了解，随着本轮融资的到位，小马智行在过去 12 个月中完成了总计近 9 亿美元的融资，成立至今 4 年总融资额已超过 11 亿美元。其中，在去年 11月 2.67 亿美元的 C 轮融资过后，小马智行估值暴涨超过 53亿美元，是国内自动驾驶领域估值最高的企业。 查看详情

人物

清华姚班校友马腾宇等18名华人科学家获得2021年斯隆奖学金 2月16日，斯隆基金（Alfred P. Sloan Foundation）官宣2021年斯隆研究奖（Sloan Research Fellowship）的 128 名获得者名单，其中，入选华人科学家18名，计算机科学领域2名，斯坦福大学马腾宇在列。斯隆研究奖于1955年设立，每年颁奖一次，面向化学、计算机科学、经济学、数学、计算和进化分子生物学、神经科学、地球系统科学和物理学等八个领域、且位于美国与加拿大的学者进行选拔，获奖者皆被认为是该领域最有前途的年轻科学家。 查看详情

数据

南栖仙策提出接近真实世界的离线强化学习基准NeoRL 研究者们发现目前的离线强化学习基准包含由高度探索性策略收集的大型数据集，并且一个训练的策略会直接在环境中评估。在现实世界中，为了确保系统安全，往往会禁止运行具有高度探索性的策略。这导致强化学习研究者们产生了一个普遍性的问题：数据通常非常有限。而NeoRL包含来自不同领域、大小可控的数据集，以及用来做策略验证的额外测试数据集。作者选择一些任务构建具有接近真实世界应用属性的数据集。与之前的工作相比，作者提出的任务考虑了上述现实差距，并在此基础上，模拟现实世界中可能遇到的各种复杂情况，构建不同性质的离线数据集。 查看详情

代码

自解释神经网络 Shapley值已成为最流行的特征属性解释方法之一。然而，大多数先前的工作都集中在事后Shapley解释上，由于指数时间复杂度的原因，这种解释的计算要求很高，并且排除了训练过程中基于Shapley解释的模型正则化。因此，作者建议将Shapley值本身作为深层模型中的潜在表征，从而使Shapley解释成为模型范式中的一等公民。这种内在的解释方法可以实现分层解释，在训练过程中解释模型的正则化，以及在测试时快速的解释计算。作者定义了Shapley变换，它将输入转换为给定特定函数的Shapley表示。作者将Shapley变换作为一个神经网络模块来操作，并通过组合Shapley模块来构造浅层和深层网络，称为shaplenet。作者证明了我们的浅形网计算精确的Shapley值，而文中的深形网保持了Shapley值的丢失性和精确性。作者在合成数据集和真实数据集上证明，文中的Shapley网络能够实现分层Shapley解释、训练期间新颖的Shapley正则化以及快速计算，同时保持合理的性能。 查看详情

大型层次结构中的元数据感知文本分类 多标签文本分类是指从一个标签集中为每个给定的文档分配其最相关的标签的问题。通常，给定文档的元数据和标签的层次结构在真实应用场景下都是可用的。然而，现有的研究大多只关注于文本信息的建模，也有少数尝试使用元数据或层次信号，但都没有同时使用它们。在本文中，作者通过在一个大的标签层次结构(例如，有成千上万个标签)中形式化元数据感知文本分类的问题来弥补这一差距。基于此，文章提出了MATCH解决方案——一个利用元数据和层次结构信息的端到端框架。为了整合元数据，作者预先训练了文本和元数据在同一空间的嵌入，并利用完全连接的注意力来捕捉它们之间的相互关系。为了充分利用标签层次结构，作者提出了不同的方法来规整每个子标签的参数和输出概率。最后，在两个具有大规模标签层次的大规模文本数据集上进行的大量实验证明了在最先进的深度学习基线上匹配的有效性。 查看详情

通过自监督多任务学习来学习特定模态表征用于多模态情感分析 在多模态学习中，表征学习是一项重要且具有挑战性的任务。有效的模态表示应包含特征的两个部分：一致性和差异性。但是由于先有的方法中统一的多模态标注，现有方法在捕获差异性信息方面受到限制。然而，单模态标注会增加时间和人工成本。本文设计了一种基于自监督学习策略的标签生成模块，以获取独立的单模态监督。 然后，联合训练多模态任务和单模态任务，以分别学习一致性和差异性。此外，在训练阶段，本文设计了权重调整策略，以平衡不同子任务之间的学习进度，从而引导子任务专注于模态监督之间差异较大的样本。 查看详情

教程

TKDE 2020 | 基于知识图谱的推荐系统综述 这篇工作基于该团队发表于《中国科学：信息科学》的中文综述论文，进一步全面地归纳了近年来基于知识图谱的推荐系统方面的相关工作，对里面的核心关键算法进行了展开的介绍和对比分析，汇总了所涉及到的知识图谱数据； 本文还总结了现有不同基于知识图谱的推荐系统应用场景和相应可选择的benchmark数据集；最后本文对该领域的未来发展进行了一定的展望讨论，对该领域今后的研究具备一定的指导意义。 查看详情

BERT在文档级排序中的应用 近年来 BERT 的出现，让预训练模型在各大自然语言处理任务上实现了屠榜。但是由于 BERT 模型本身的设计，使其在处理长度大于 512 个 token 的文本时面临着一些挑战。所以直接将 BERT 应用于文档级排序（document ranking）任务存在一定的困难，具体来说主要体现在以下两个方面：1. 训练阶段，我们尚不清楚要向模型提供什么形式内容。2. 推断阶段，如果文档太长而无法全部输入 BERT，我们必须决定如何预处理文档。在本文中，我们将介绍目前研究者针对上述问题的提出的一系列解决方案。 查看详情

【AAAI2021教程】机器学习组合优化 本教程旨在向观众介绍这一令人兴奋的不断发展的领域。作者相信，听众将从提出的教程中获益良多，因为它将布局这个研究空间的视角，不同的ML技术在CO设置中的优点，以及各种受益于ML使用的CO任务。作者还将引入一个新的开源库，Ecole，旨在方便该领域的新人访问。虽然本教程将主要关注作为CO的具体数学框架的混合整数规划，作者也将接触到MIP和其他约束推理框架之间的关系，如可满足性和约束满足性，因为将提出的大多数思想都将适用于这些框架。 查看详情

新工具

Facebook AI推出基于神经的反编译框架N-Bref Facebook AI、UCSD STABLE实验室提出了一个基于神经的反编译框架N-Bref，该框架可以提高传统反编译系统的准确率。N-Bref完成了从数据集生成到神经网络训练和评估的设计流程自动化，不需要人类工程师的参与。在实际的代码反编译任务中，这是首个重利用SOTA 神经网络（如神经机器翻译中用到的 Transformer）来处理高度结构化的输入和输出数据的尝试。 查看详情

谷歌开源自动化寻找最优ML模型新平台Model Search 近年来出现的AutoML算法可以帮助研究者自动找出合适的神经网络，无需手动试验。神经架构搜索等技术利用强化学习、进化算法和组合搜索等算法，基于给定搜索空间构建神经网络。在恰当的设置下，这些技术找到的神经网络架构优于手动设计的网络架构。不过，这些算法计算量较大，在收敛前需要训练数千个模型。而且，它们探索的搜索空间是域特定的，包括大量先验人类知识，无法很好地实现跨域迁移。例如，在图像分类领域中，传统NAS技术搜索两个不错的构造块（卷积和下采样），然后遵循惯例创建完整的网络。为了克服这些缺陷，并将AutoML解决方案扩展到更广泛的研究社区，最近谷歌开源了一个自动、高效构建最优ML模型的平台Model Search。该平台不针对某个特定域，因而足够灵活，并且能够找出最适合给定数据集和问题的架构，同时最小化编程时间和计算资源。该平台基于TensorFlow框架构建，既可以单机运行，也可以在分布式机器设置上运行。 查看详情

GraphGallery：基于图神经网络的智能软件快速基准测试和简易开发平台 GraphGallery是一个易于使用的平台，允许开发人员即使对特定领域的了解较少，也可以自动部署GNN。 它基于主流深度学习框架提供了一组通用GNN模型的实现。此外，现有的GNN工具箱（例如PyG和DGL）可以轻松地集成到平台中。实验证明了实现的可靠性和快速编码的优越性。 查看详情

应用

佐治亚理工学院融合Transformers和CNN用于医学图像分割 具有深度特征表示和跳跃连接的基于U-Net的卷积神经网络极大地提高了医学图像分割的性能。在本文中，我们研究了更具挑战性的问题，即在不损失low-level细节的定位能力的情况下提高全局上下文建模效率的问题。提出了一种新颖的两分支架构TransFuse，该架构以并行方式结合了Transformers和CNN。使用TransFuse，可以以较浅的方式有效地捕获全局依赖性和low-level空间细节。此外，提出了一种新颖的融合技术-BiFusion模块，用于融合每个分支的多级特征。TransFuse实现了息肉分割任务的最新技术，参数减少了20％，推理速度最快，约为98.7 FPS。 查看详情

MIT开发AI新工具减少切割材料的浪费 传统的机器切割经常产生大量的剩余材料，用户为避免浪费，不得不在排列零件时反复尝试。 这一过程不仅费时费力，还很难获得最优结果。为了减少切割材料的浪费，提高制造准备的效率，麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）的研究人员开发了一个新工具——Fabricaide。它可以智能地安排零件位置、分配材料、分析材料使用情况等，并且支持在设计的同时打包预览，实时展现零件放置效果和材料使用情况。从而缩短了设计创建与制造准备之间的反馈循环，帮助设计师提高效率、节约材料、降低成本。 查看详情

Facebook、哥大等推出高层次语义信息生成框架Vx2Text：根据音视频信息生成文本信息 与大多数人工智能系统不同，人类可以很自然地轻易理解文本、视频、音频和图像在上下文语境中的含义。例如，一些给定的文本和图像，在分开讨论的时候似乎无害，比如“看看有多少人爱你”和一张贫瘠沙漠的图片，然而，人们会立即意识到，这些元素在结合在一起的时候，其实是具有潜在伤害性的。多模态学习可以包含一些潜在互补的信息或者趋势，不过，只有在学习中完全包含相关信息的时候，这些含义才能显现。对于Vx2Text,，“模态独立“的分类器将来自视频、文本或音频的语义信号，转换为公共语义语言空间，这使得语言模型能够直接解释多模态数据，从而为通过谷歌的T5等强大的语言模型进行多模态融合——即结合信号来支持分类——提供了可能。Vx2Text中的生成式文本解码器，将编码器计算的多模态特征转换为文本，使该框架适合于生成自然语言语义概括。 查看详情

会议

人工智能顶会WSDM2021优秀论文奖出炉 2021年第14届国际网络搜索与数据挖掘会议WSDM将在2021年3月8日到12日于线上举行。今年此次会议共收到了603份有效投稿，最终录取篇数为112篇，录取率为18.6%。近日大会公布了优秀论文奖项（WSDM 2021 Best Paper Award Runner-Up），共有5篇论文。其中《GenerativeModels are Unsupervised Predictors of Page Quality: A Colossal-Scale Study》将生成式模型用于无监督评价网页语言/内容质量，通过人工评价证明，训练用来区分人工和机器生成文本的分类器，可作为“页面质量”的无监督预测器，在没有任何额外训练的情况下检测出低质量的网页内容。 查看详情

清华大学朱文武团队夺冠AAAI 2021国际深度元学习挑战赛 近日，国际人工智能顶会AAAI 2021召开，清华大学朱文武教授带领的MetaLearners团队在AAAI 2021国际深度元学习挑战赛（MetaDL Challenge）中夺得冠军。该团队在最终阶段的隐藏测试数据集上取得了40.4%的准确率，高于第二名13%性能的大幅度领先。MetaLearners团队成员包括计算机系在读硕士生关超宇、卫志坤、陈禹东，由关超宇担任队长，朱文武教授与王鑫助理教授担任指导教师。 查看详情

以上是《智源社区AI周刊》第61期的内容，智源研究院编辑团队将本着“提供真正内行的AI资讯”的目标，不断优化和完善我们的内容服务，各位读者们如有批评意见，或者好的建议，请在下方评论区留言指出。谢谢大家。

内容中包含的图片若涉及版权问题，请及时与我们联系删除