标题：谷歌|GRADMAX: GROWING NEURAL NETWORKS USING GRADIENT INFORMATION（GRADMAX：使用梯度信息增长神经网络）

作者：Utku Evci, Fabian Pedregosa等

简介：本文介绍了一种新颖的神经网络设计方法。神经网络的架构和参数通常是独立优化的，无论何时修改架构，都需要对参数进行昂贵的重新训练。在这项工作中，作者转而专注于发展架构无需昂贵的再训练。作者提出了一种添加新神经元的方法，在不影响已经学过的内容的情况下进行训练，同时提高训练动量。作者通过最大化新的梯度，来实现后者权重并通过奇异值分解（SVD）有效地找到最佳初始值。作者称这种技术为梯度最大化增长(GradMax) ，并展示其在各种视觉任务和架构中的有效性。

代码下载：https://github.com/google-research/growneuron

论文地址：https://arxiv.org/pdf/2201.05125v1.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除