对于多任务场景来说，最大的难点就在于如何找到多个任务之间相互关联的部分。Google Brain团队在NeurIPS 2021上发表了一篇论文，提出一个亲和力指标，能将训练速度提升32倍，直接少训练2000个小时，相当于省了6200美元！

对于如何有效地训练多任务，Google Brain团队在NeurIPS 2021上发表了一篇论文，提出了一个新方法，能够在多任务神经网络中确定哪些任务可以一起训练。研究人员首先将一组任务分成较小的子集，先使得所有任务都得到充分训练。
为了达到性能最大化，需要将所有任务一起列入单个多任务模型中训练，并测量每个任务在模型参数上的梯度更新对网络中其他任务的loss 影响程度，这个影响程度也被称为任务间的亲和力（inter-task affinity）。实验结果表明选择最大化任务间亲和力的任务组，能够显著提升整体模型的性能。
论文地址：https://ai.googleblog.com/2021/10/deciding-which-tasks-should-train.html

内容中包含的图片若涉及版权问题，请及时与我们联系删除