就在今天，机器学习顶会ICML公布了2021年度的论文获奖名单！

本次大会共有6篇论文获奖，其中包括1篇杰出论文奖，4篇杰出论文提名奖，以及1篇时间检验奖。

来自多伦多大学和谷歌大脑的研究人员斩获杰出论文奖，Hinton高徒郑宇怀获时间检验奖。

ICML 2021是第38届年会，受疫情影响，本届会议在7月18日-7月24日采用线上会议的形式举行。

本届会议中，共有430多位华人论文入选ICML，西北大学汪昭然和普林斯顿大学杨卓然9篇论文入选，并列第一。

2021年ICML一共接收了1184篇论文，其中包含1018篇短论文和166篇长论文，接收率为21.48%，近五年最低。

在这1184份论文中，组委会精心挑选出了6篇论文，授予杰出论文奖、杰出论文提名奖和时间检验奖。

 

杰出论文

 

今年杰出论文奖的作者来自多伦多大学和Google Brain。

论文地址：http://proceedings.mlr.press/v139/vicol21a.html

 

作者指出，目前在一些计算图中优化参数的方法存在高变异梯度、偏差、缓慢更新或大量内存使用等问题。

因此，本文引入了一种Persistent Evolution Strategies（PES）的方法。

PES通过在整个序列中积累修正项来消除这些偏差，并允许快速更新参数，内存使用率低，无偏差，并且具有合理的方差特性。

实验证明，PES与其他几种合成任务的梯度估计方法相比具有优势，并适用于训练学习型优化器和调整超参数。

 

作者介绍

 

 

论文一作Paul Vicol，来自多伦多大学和Vector Institute机器学习小组的博士生。

主要研究领域为神经网络、贝叶斯推论、生成模型和强化学习，以及根据大脑工作原理改进神经网络等。

2016年，Paul Vicol在西蒙弗雷泽大学获得了计算机科学硕士学位，硕士研究侧重于信念变化，即一个知识表示领域，涉及根据新信息更新知识库，曾开发一个名为Equibel的Python包，能够让研究人员更容易在多智能体系统中试验信念变化。

2014年获得西蒙弗雷泽大学计算机科学学士学位。

 

Hinton高徒郑宇怀获时间检验奖，表彰10年前经典

 

时间检验奖（Test of Time Award）是颁给那些被时间和事后证明对机器学习界具有持久价值的论文。

 

 

Bayesian Learning via Stochastic Gradient Langevin Dynamics 获得了时间检验奖。

ICML 2021 时间考验奖颁给了2011年的一项研究，作者分别来自加利福尼亚大学的Max Welling（高通荷兰公司技术副总裁）和伦敦大学学院的Yee Whye Teh（郑宇怀，牛津大学教授）。

 

论文地址：https://icml.cc/Conferences/2011/papers/398_icmlpaper.pdf

 

值得一提的是，郑宇怀（Yee Whye Teh）可是深度学习三巨头之一Hinton的高徒，曾在2006 年与 Hinton 合著论文《A fast learning algorithm for deep belief nets》，引发了深度学习革命！

1997年他于加拿大滑铁卢大学获得计算机科学与数学学士学位，之后在多伦多大学师从Geoffery Hinton，并于2003年获得计算机博士学位。

 

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除