DMTG: One-Shot Differentiable Multi-Task Grouping

我们旨在通过多任务分组（MTG）来解决具有大量任务的多任务学习（MTL）。给定N个任务，我们建议同时从2^N个候选项中确定最佳任务组，并一次性训练模型权重，充分利用高阶任务亲和力。这与先驱方法不同，先驱方法是顺序地识别组并训练模型权重，其中组识别通常依赖于启发式方法。因此，我们的方法不仅提高了训练效率，而且减轻了由顺序程序引入的客观偏差，这可能导致次优解。具体而言，我们将MTG制定为一个可完全区分的基于自适应网络架构的修剪问题，该网络架构由底层分类分布确定。为了将N个任务分类为K个组（由K个编码器分支表示），我们最初设置KN个任务头，其中每个分支连接到所有N个任务头以利用高阶任务亲和力。然后，我们逐步通过学习放松的可区分分类分布将KN头修剪到N个，确保每个任务仅被归类为一个分支。对CelebA和Taskonomy数据集进行的广泛实验以及详细的消融实验表明了我们方法的良好性能和效率。代码可在https://github.com/ethanygao/DMTG上获得。

本文旨在通过Multi-Task Grouping（MTG）解决具有大量任务的多任务学习（MTL）问题。具体而言，论文提出了一种同时识别最佳任务组的方法，并在一次训练中同时训练模型权重，充分利用高阶任务亲和力。

本文的关键思路是将MTG作为一个完全可微的修剪问题，通过自适应网络结构上的分类分布来将N个任务分类为K组，最终每个任务都被独立地分类到一个分支中。

本文的亮点包括：1. 提出了一种新颖的MTG方法，充分利用高阶任务亲和力，提高了训练效率；2. 通过学习可微分类分布来实现任务分组，避免了顺序程序引入的客观偏差；3. 在CelebA和Taskonomy数据集上进行了广泛实验，并进行了详细的分析和比较；4. 代码已开源，可在https://github.com/ethanygao/DMTG下载。

最近在这个领域中，还有一些相关的研究，例如《Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics》和《Learning Multiple Tasks with Multilinear Relationship Networks》等。