标题：ICLR 2021谷歌｜SHARPNESS-AWARE MINIMIZATION FOR EFFICIENTLY IMPROVING GENERALIZATION（基于锐度感知最小化的泛化性提升）

简介：在当今严重过度参数化的模型中，训练损失的价值几乎无法保证模型的泛化能力。确实，从以前的方法来看，仅优化训练损失值很容易导致次优模型质量。受先前工作的影响，考虑到几何形状在景观和泛化方面，我们引入了一种新颖而有效的程序来代替，同时使损失值和损失锐度最小化。特别是，我们的程序“锐度感知最小化（SAM）”寻求的参数是在损失均一的地区；这种公式导致了一个最大最大优化问题，在这个问题上可以有效地执行梯度下降。我们提供的经验结果表明，SAM改进了各种基准数据集（例如CIFAR- {10，100}，ImageNet，微调任务）和模型的泛化性，从而产生了几个数据集的最新性能。此外，我们发现SAM与标记专门针对带有噪声标签的学习的最新程序所提供的噪声相比，具有与生俱来的鲁棒性。

代码：https://github.com/google-research/sam

论文下载：https://arxiv.org/pdf/2010.01412v3.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除