GitHub地址：
https://github.com/google/learned_optimization/tree/main/learned_optimization/research/general_lopt

论文地址：https://arxiv.org/abs/2211.09760


还在苦恼怎么给优化器调整更好的参数吗？

现在，谷歌大脑搞出了一个新的优化器VeLO，无需手动调整任何超参数，直接用就完事了。

与其他人工设计的如Adam、AdaGrad等算法不同，VeLO完全基于AI构造，能够很好地适应各种不同的任务。

设计上，优化器的原理基于元学习的思路，即从相关任务上学习经验，来帮助学习目标任务。

相比迁移学习，元学习更强调获取元知识，它是一类任务上的通用知识，可以被泛化到更多任务上去。

基于这一思想，VeLO也会吸收梯度并自动输出参数更新，无需任何超参数调优，并自适应需要优化的各种任务。

架构上，AI优化器整体由LSTM（长短期记忆网络）和超网络MLP（多层感知机）构成。

其中每个LSTM负责设置多个MLP的参数，各个LSTM之间则通过全局上下文信息进行相互协作。

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除