Unleashing the Power of Multi-Task Learning: A Comprehensive Survey Spanning Traditional, Deep, and Pretrained Foundation Model Eras

多任务学习（MTL）是一种有效利用任务特定和共享信息同时解决多个相关任务的学习范式。与单任务学习（STL）相比，MTL提供了一系列优势，提高了训练过程和推理效率。MTL的关键优势包括简化的模型架构、性能提升和跨领域的普适性。在过去的二十年中，MTL已经被广泛认可为各个领域的一种灵活有效的方法，包括计算机视觉、自然语言处理、推荐系统、疾病预后和诊断以及机器人学。本文概述了MTL的演变，包括从传统方法到深度学习和最新的预训练基础模型的前沿方法的技术方面。我们将MTL技术系统地分为五个关键领域：正则化、关系学习、特征传播、优化和预训练。这种分类不仅按时间顺序概述了MTL的发展，而且深入探讨了每个类别中的各种专业策略。此外，本文揭示了MTL如何从处理固定任务集发展到采用更灵活的方法，摆脱任务或模态约束。它探讨了任务提示和不可知训练的概念，以及零样本学习的能力，释放了这种历史上备受追捧的学习范式的潜力。总的来说，我们希望本文为研究社区提供MTL从1997年到2023年的全面概述。我们解决了当前的挑战，并展望了未来的可能性，为MTL研究的机会和潜在途径提供了光明的前景。本项目公开在https://github.com/junfish/Awesome-Multitask-Learning。

多任务学习是如何有效地利用任务特定和共享信息来同时解决多个相关任务的？本文试图提供多任务学习的全面综述和分类，以及展望未来的研究方向。

本文对多任务学习进行了分类，分为正则化、关系学习、特征传播、优化和预训练五个方面，并探讨了多任务学习从处理固定任务集到自由任务或模态约束的发展趋势。文章还介绍了任务提示和不可知训练的概念，以及零样本学习的能力。

本文介绍了多任务学习的优点，包括简化模型架构、提高性能和跨领域通用性。文章还讨论了多任务学习在计算机视觉、自然语言处理、推荐系统、疾病预后和诊断以及机器人领域的应用。实验使用了多个数据集和开源代码，并提出了未来研究的挑战和方向。

最近的相关研究包括《Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics》、《Multi-Task Learning for Text Classification Using POS Tagging》、《Multi-Task Learning for Neural Machine Translation with Attention》等。