Learning to Route Among Specialized Experts for Zero-Shot Generalization

最近，“专家”语言模型通过参数高效微调在特定任务或领域上得到广泛传播。我们如何回收大量专家语言模型，以提高对未见过的任务的零-shot泛化能力？在这项工作中，我们提出了后期自适应逐标记门控（PHATGOOSE）技术，该技术学习在通过参数高效微调产生的专业模块之间进行路由。与过去学习在专业模型之间进行路由的方法不同，PHATGOOSE探索了这样一种可能性：如果可以在模型的每个标记和每个层次中自适应地选择不同的专家，则零-shot泛化将得到改善。关键是，我们的方法是后期的 - 它不需要同时访问用于创建专业模型的数据集，并且每个专家模型训练后只需要适量的额外计算。在涵盖一系列专业模型集合和零-shot泛化基准的实验中，我们发现PHATGOOSE优于过去的后期路由方法，并且在某些情况下优于显式的多任务训练（需要同时访问数据）。为了更好地理解PHATGOOSE学习的路由策略，我们进行了定性实验，以验证PHATGOOSE的性能源于其能够进行自适应的每标记和每模块的专家选择。我们公开了所有代码，以支持未来改进通过回收专业专家来实现零-shot泛化的工作。

本论文探索如何通过重复使用专家语言模型来提高零样本泛化能力。具体而言，如何通过自适应的方式在每个标记和每个层中选择不同的专家模块来提高泛化性能。

PHATGOOSE是一种后处理自适应令牌门控模型，可以在不需要同时访问用于创建专家模型的数据集的情况下，学习在每个标记和每个层中选择不同的专家模块。与过去的方法不同，PHATGOOSE探索了不同的专家模块可以被自适应地选择的可能性。

论文通过实验展示了PHATGOOSE在多个专家模型集合和零样本泛化基准测试中优于过去的方法，并在某些情况下优于显式多任务训练。作者还进行了定性实验以验证PHATGOOSE的路由策略。

最近的相关研究包括使用多任务学习和元学习来提高零样本泛化能力的方法，如《Learning to Learn without Forgetting by Maximizing Transfer and Minimizing Interference》。