本文作者在文章长文：浅谈多任务学习对“多任务学习”（Multi-Task Learning，以下简称MTL）的概念、优势、改进方向进行了全面的介绍，并提到MTL一个重要的改进方向：优化算法的改进。在阅读NeurIPS2020一篇关于多任务学习优化算法改进的文章（PCGrad）后，作者觉得如果回顾一下深度学习基本优化算法改进历史，可能会对多任务学习（MTL）优化算法的改进有所启发。于是便有了这篇文章，记录了作者对优化算法改进的理解以及多任务学习优化算法的脑爆改进。

本文包括以下几部分内容：

  1. 神经网络参数优化的基本背景
  2. “时间域”里的优化算法（SGD/SGDM/AdamGrad/Adam等）进化史
  3. “空间域“里的多任务学习优化算法改进PCGrad
  4. “时空“里的MTL优化算法改进狂想曲

感兴趣的可以戳原文。

内容中包含的图片若涉及版权问题，请及时与我们联系删除