用 ICLR 论文求婚，除了撒“高级狗粮”，还能缓解「过拟合」与「过平滑」

ICLR，中文全称是国际表征学习大会，专注于有关深度学习各个方面的前沿研究。

此会议在人工智能、统计和数据科学领域以及机器视觉、语音识别、文本理解等重要应用领域中贡献了众多极其有影响力的论文。

另外，据说在此会议上发布论文除了能够普及学术成果，还能够增加求婚成功的几率。

论文链接：https://arxiv.org/pdf/1907.10903.pdf

代码链接：https://github.com/DropEdge/DropEdge

在这篇论文致谢部分，作者说：“本研究受国家科技部重大专项资助。另外，Yu Rong特别要感谢Yunman Huang多年来的关爱和支持，你愿意嫁给我么？”

显然，在论文中求婚得到了积极的反馈，微博网友@喜欢猫的小鳗鱼说，她就是被求婚的这位，并且作者已经成功了。

过拟合」与「过平滑」是开发用于节点分类的深度图卷积网络（GCN）的两大拦路虎。具体而言，过拟合降低了模型在小数据集上的泛化能力；而随着网络深度增加，过平滑则会导致 GCN 的输出表征与输入特征之间的关联性降低（隐层表征会趋向于收敛到同一个值），从而为训练带来困难。

本文提出了一种新颖、灵活的技术 DropEdge 来缓解以上两个问题。DropEdge 的核心思想是在每轮训练中随机地从输入图中删除掉一定数量的边，它扮演着类似于数据增强器和消息传递减速器的角色。

此外，本文还从理论上说明了 DropEdge 不仅降低了过平滑的收敛速度，也减少了由于过平滑引起的信息损失。更重要的是，作为一种通用的技术，DropEdge 可以被应用于许多其它的主干网络模型（例如，GCNResGCN、GraphSAGE、JKNet），从而提升它们的性能。

本文作者在一些对比基准任务上进行了大量的实验，实验结果表明 DropEdge 在较浅和较深的 GCN 网络上始终可以实现性能的提升。作者通过实验验证和可视化技术证明了 DropEdge 对于防止过平滑的作用。

内容中包含的图片若涉及版权问题，请及时与我们联系删除