由智源社区举办的「智源LIVE 第5期 | 张宇:多目标元学习」将于12月8日(周三)15:00-16:00举办,邀请了南方科技大学副教授张宇进行主旨报告,介绍基多目标元学习的最新研究进展。欢迎大家报名。

摘要:元学习近年来收到了广泛的关注。在基于元学习的模型设计里,往往需要同时考虑多个目标,例如在神经架构搜索过程中不仅仅要考虑搜索到的神经网络的性能,还需要考虑神经网络的鲁棒性和参数大小。现有的方法主要将多个目标以加权和的方式组合成单个目标来求解。这种策略通常有效,但它需要手动调整所有目标的权重,这会带来额外的计算开销。本次报告里介绍一种基于梯度方法的多目标元学习框架来求解此类问题,从而避免手动调整多个目标之间的权重。具体而言,多目标元学习将此问题定义成一个多目标双层优化问题,其中的上层子问题定义为多个可能冲突的目标。为了求解多目标双层优化问题,我们设计了一个基于梯度的优化算法,分别通过使用梯度下降方法和基于梯度的多目标优化方法交替求解其中的下层与上层子问题。我们从理论上证明了所提出的优化算法的收敛性。为了验证多目标元学习框架的有效性,我们把此框架应用于少样本学习、迁移学习、多任务学习和神经网络架构搜索等方向。

考虑到讲者报告时间有限,欢迎智源社区用户在本贴评论区留言,官方会邀请嘉宾和讲者回复,详情如下:

  • 格式:xx好,我想请问xxx问题;

内容中包含的图片若涉及版权问题,请及时与我们联系删除