标题：【机器学习】一种用于多任务学习的梯度改变方法 论文名称：Gradient Surgery for Multi-Task Learning 作者：Tianhe Yu, Saurabh Kumar, Abhishek Gupta, Sergey Levine, Karol Hausman, Chelsea Finn 提交日期：2020.10.23 论文链接：https://arxiv.org/abs/2001.06782 代码地址：https://github.com/tianheyu927/PCGrad 推荐理由: 这项工作介绍了一种通过直接改变梯度（即通过执行“梯度手术”）来缓解梯度干扰的方法。如果两个梯度发生冲突，作者通过将每个投影到另一个法线平面上来改变直径，从而防止干扰。 这种梯度手术的特殊形式称为投影冲突梯度（PCGrad）PCGrad是模型不可知的，只需要对梯度的应用进行一次修改即可，因此易于应用可以解决一系列问题，包括多任务监督学习和多任务强化学习，并且还可以轻松地与其他多任务学习方法（例如修改体系结构）结合使用，作者从理论上证明了PCGrad在标准多任务梯度下降的基础上进行了改进，根据经验对PCGrad进行了一系列挑战性评估，包括多任务CIFAR分类，多目标场景理解，具有挑战性的多任务R1域和目标条件RL。与以前的方法相比，作者发现PCGrad全面提高了数据效率，优化速度和最终性能，其中包括在多任务强化学习问题上绝对提高了30％以上。此外，在多任务监督学习任务上，PCGrad可以与多任务学习的现有最新方法成功结合，从而获得更高的性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除