Label Budget Allocation in Multi-Task Learning

解决问题：本文旨在解决在多任务学习中标签成本不一致的问题，即如何分配标签预算以实现最佳的多任务性能。该问题是一个新问题。

关键思路：本文的关键思路是提出了一种任务自适应预算分配算法，通过估计和最大化分配预算获得的新信息程度作为多任务学习性能的代理。相比当前领域的研究状况，本文的思路是新颖的。

其他亮点：本文的实验使用了PASCAL VOC和Taskonomy数据集，证明了该方法相对于其他广泛使用的启发式标注策略的有效性。此外，本文还提供了开源代码。这项工作值得进一步研究，特别是在更多的多任务学习场景下进行实验。

相关研究：近期的其他相关研究包括：《Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics》（作者：Yinda Zhang，机构：MIT）、《Multi-Task Learning with Task Routing》（作者：Saurabh Saxena，机构：Carnegie Mellon University）等。

论文摘要：本文讨论了标注数据成本对机器学习系统性能的限制问题。在多任务学习中，相关任务相互提供信息，提高整体性能，但标签成本在不同任务间可能存在差异。本文首次提出并正式定义了多任务学习中的标签预算分配问题，并通过实验证明不同的预算分配策略对性能有很大影响。我们提出了一种任务自适应预算分配算法，以适应不同的多任务学习设置，从而稳健地生成最优预算分配。具体而言，我们估计并最大化分配预算获得的新信息量，作为多任务学习性能的代理。在PASCAL VOC和Taskonomy上的实验表明，我们的方法比其他广泛使用的启发式标注策略更为有效。

内容中包含的图片若涉及版权问题，请及时与我们联系删除