From Instance Training to Instruction Learning: Task Adapters Generation from Instructions

大型语言模型（LLMs）通过使用指令微调（IFT）已经获得了解决一般任务的能力。然而，IFT仍然严重依赖于广泛任务数据的实例训练，这极大地限制了LLMs对标记任务实例稀缺和更广泛任务泛化至关重要的现实世界场景的适应能力。与LLMs相反，人类不仅通过反复练习，而且通过理解和遵循指导方针来获得技能和完成任务。本文致力于模拟人类学习以解决实例训练的缺点，重点关注指令学习以增强跨任务泛化。在这个背景下，我们介绍了从指令生成任务适配器（TAGI），它基于给定的任务指令以参数生成方式自动构建特定任务的模型，而无需重新训练未见过的任务。具体而言，我们利用知识蒸馏来增强通过指令学习开发的TAGI与通过实例训练开发的任务特定模型之间的一致性，通过对齐标签、输出logits和适配器参数来实现。TAGI通过包括超网络预训练和微调在内的两阶段训练过程具有跨任务泛化能力。我们在Super-Natural Instructions和P3数据集上评估了TAGI。实验结果表明，TAGI能够匹配甚至优于传统的元训练模型和其他超网络模型，同时显著减少计算需求。

论文旨在解决实例训练对于标记任务实例稀缺的情况下，限制了大型语言模型（LLMs）在现实世界场景中的适应性问题。论文提出通过学习指导来模拟人类学习，从而增强跨任务泛化能力。

论文提出了一种名为TAGI的方法，它可以根据给定的任务指令自动构建特定于任务的模型，而无需针对未见任务进行重新训练。TAGI通过知识蒸馏来增强其与基于实例训练的任务特定模型之间的一致性，从而具有跨任务泛化能力。

论文的实验结果表明，TAGI可以与传统的元训练模型和其他超网络模型匹配甚至优于它们，同时大大减少了计算要求。论文使用了Super-Natural Instructions和P3数据集，并提供了开源代码。

最近的相关研究包括基于元学习的方法和超网络方法，如MAML和SNAIL。