TaskWeb: Selecting Better Source Tasks for Multi-task NLP

通过研究任务之间的相互关系，提出一种基于任务对迁移的任务选择方法，用于改进多任务学习，并在实验中取得了显著的性能提升。

J Kim, A Asai, G Ilharco, H Hajishirzi
[University of Washington]

TaskWeb: 为多任务NLP选择更好的源任务

要点:

  • 动机：研究如何通过任务之间的相互关系选择有助于学习新任务的源任务，以提高多任务学习的效果。
  • 方法：构建了一个大规模的任务对迁移基准(TASKWEB)，分析了不同任务、模型和适应方法之间的任务迁移情况，并提出了一种基于TASKWEB的任务选择方法(TASKSHOP)。
  • 优势：通过使用TASKSHOP选择有帮助的源任务和构建较小的多任务训练集，提高了零样本任务的性能，同时在选择源任务方面的排名和准确性也有显著提升。

https://arxiv.org/abs/2305.13256 


图片
图片
图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除