标题：约翰内斯开普勒大学、Anyline GmbH等|FEW-SHOT LEARNING BY DIMENSIONALITY REDUCTION IN GRADIENT SPACE（梯度空间中小样本降维学习）

作者：Martin Gauch, Maximilian Beck, Thomas Adler, Sebastian Lehner等

简介：本文介绍了SubGD，一种新颖的小样本学习方法。随机梯度下降更新往往存在于低维参数子空间中。通过实验和理论分析，作者表明模型被限制在合适的预定义子空间中。对于小样本的学习，可以很好地概括一个合适的子空间，在给定的条件下满足三个条件：它（a）允许通过梯度流减少训练误差，（b）导致模型更好泛化，和（c）可以通过随机梯度下降来识别。SubGD识别来自不同任务中这些子空间更新方向的自相关矩阵的特征分解，可以识别低维合适的子空间，用于动态的小样本学习。

论文下载：https://arxiv.org/pdf/2206.03483v1.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除