FL-TAC: Enhanced Fine-Tuning in Federated Learning via Low-Rank, Task-Specific Adapter Clustering

尽管大规模预训练模型通过微调具有很大的适应下游任务的潜力，但这些微调模型的性能通常受到收集足够高质量的特定任务数据的困难的限制。联邦学习（FL）通过启用跨具有各种任务数据的大规模客户端的微调，提供了一种有前途的解决方案，但由于预训练模型的庞大尺寸，它受到显著的通信开销的瓶颈限制。本文通过低秩微调解决了FL框架内用于微调大型预训练模型的高通信成本问题。具体而言，我们在客户端为每个单独的任务训练了一个低秩适配器，然后通过服务器端聚类将类似的适配器组合起来以实现任务特定的聚合。在各种语言和视觉任务（如GLUE和CIFAR-10/100）上进行了广泛的实验，揭示了FL训练过程中任务特定适配器的演变，并验证了所提出的低秩任务特定适配器聚类（TAC）方法的有效性。

论文旨在解决在联邦学习框架中，由于预训练模型的庞大大小而导致的高通信成本问题，限制了大规模预训练模型在特定任务上的微调效果。

通过低秩微调解决大型预训练模型在联邦学习中的高通信成本问题。在客户端上训练每个任务的低秩适配器，并在服务器端对相似的适配器进行聚类以实现任务特定的聚合。

论文通过低秩微调解决了大型预训练模型在联邦学习中的高通信成本问题。实验结果表明，该方法在各种语言和视觉任务中均有效，并且在FL训练过程中演化的任务特定适配器验证了该方法的有效性。

最近的相关研究包括使用低秩矩阵分解来减少模型大小和使用联邦学习来解决隐私问题。