Multi-Task Dense Prediction via Mixture of Low-Rank Experts

之前基于专家混合（MoE）的多任务密集预测方法在性能上表现出色，但它们忽略了明确建模所有任务之间全局关系的重要性。本文提出了一种新的多任务密集预测的解码器聚焦方法，称为Mixture-of-Low-Rank-Experts（MLoRE）。为了建模全局任务关系，MLoRE在原始MoE结构中添加了一个通用卷积路径，使每个任务特征都可以通过该路径进行显式参数共享。此外，为了控制由于增加专家数量而带来的参数和计算成本，我们从LoRA中获得启示，提出利用专家网络中普通卷积的低秩格式。由于低秩专家具有更少的参数，并且可以动态地参数化为通用卷积，因此参数和计算成本随着专家数量的增加变化不大。受此设计的益处，我们增加了专家数量和接收场来扩大表示能力，在统一网络中便于学习多个密集任务。在PASCAL-Context和NYUD-v2基准测试上的大量实验表明，我们的MLoRE在所有指标上均优于以前的最先进方法。我们的代码可在https://github.com/YuqiYang213/MLoRE上获得。

本文旨在解决多任务密集预测中全局任务关系建模不足的问题，提出了一种名为MLoRE的新方法。

MLoRE通过在原始MoE结构中添加一个通用卷积路径来建模全局任务关系，同时利用LoRA的低秩格式来控制参数和计算成本，从而增加了专家数量和接收域，扩大了表示能力，实现了多个密集任务在统一网络中的学习。

实验结果表明，MLoRE在PASCAL-Context和NYUD-v2基准测试中均优于以前的最先进方法。研究人员开源了代码。

在这个领域中，最近的相关研究包括：Mixture of Experts、LoRA等。