FedPFT: Federated Proxy Fine-Tuning of Foundation Models

本文提出了一种新方法Federated Proxy Fine-Tuning (FedPFT)，通过两个关键模块增强了Federated Learning (FL) 下游任务中的Foundation Models (FMs) 适应性，从而保护数据隐私和有价值的FMs。现有方法通过在FL中将子FM分配给客户来微调FM，然而由于微调不足和梯度不可避免的误差积累，导致性能不佳。第一个模块是子FM构建模块，采用逐层压缩方法，通过强调那些关键的神经元，促进了所有层的全面FM微调。第二个模块是子FM对齐模块，在FL微调之前和期间进行两步蒸馏-层级和神经元级别的-分别减少梯度误差，通过理论保证准确地将子FM与FM对齐。在七个常用数据集上的实验结果（即四个文本和三个视觉）证明了FedPFT的优越性。

本论文旨在通过联邦学习（FL）来保护数据隐私和有价值的基础模型（FMs），以适应下游任务。然而，现有的方法通过将子模型分配给客户端来微调FM，导致性能亚优化。

本文提出了Federated Proxy Fine-Tuning（FedPFT）的新方法，通过两个关键模块增强FMs在下游任务中的适应性。第一个子模型构建模块采用逐层压缩方法，通过强调关键神经元，促进所有层的全面微调。第二个子模型对齐模块进行了两步蒸馏，分别是层级和神经元级别的，在FL微调期间减少了梯度误差，通过准确对齐子模型和FM来实现理论保证。

实验结果表明，FedPFT在七个常用数据集（四个文本和三个视觉）上的性能优于现有方法。该论文的亮点包括：提出了一种新的方法来适应FMs，保护数据隐私和有价值的FMs；提出了两个关键模块，逐层压缩方法和两步蒸馏，以提高性能和减少梯度误差；在七个常用数据集上进行了实验，并展示了优越的性能。

最近的相关研究包括FL和FMs适应的研究，以及子模型构建和对齐的研究。其中一些论文包括：FedAvg、FedProx、FedMA、MoFA和FedNAS等。