$\textit{Trans-LoRA}$: towards data-free Transferable Parameter Efficient Finetuning

低秩适配器（LoRA）及其变体是流行的参数高效的微调技术，可以在仅需要少量附加参数的情况下与完整模型微调性能相匹配。这些额外的LoRA参数是特定于被适配的基本模型的。当需要淘汰基本模型并用新模型替换时，所有相关的LoRA模块都需要重新训练。这种重新训练需要访问用于训练原始基本模型的数据。这对于商业云应用程序尤其具有问题，因为LoRA模块和基本模型由服务提供商托管，可能不允许托管专有的客户任务数据。为了解决这个挑战，我们提出了“Trans-LoRA”——一种新的方法，可以在基本模型之间无损、几乎无需数据地传输LoRA。我们的方法依赖于合成数据来传输LoRA模块。使用大型语言模型，我们设计了一个合成数据生成器，以近似“观察到”的任务数据子集的数据生成过程。在生成的合成数据集上训练可以将LoRA模块传输到新模型中。我们使用LLama和Gemma模型族展示了我们方法的有效性。我们的方法在各种任务上实现了基于模型族内和跨不同基本模型族之间以及不同PEFT方法之间的LoRA传输的无损（大多数改进）传输。

论文旨在解决LoRA fine-tuning技术在模型替换时需要重新训练的数据不可用的问题，提出了一种基于合成数据的LoRA迁移方法。

提出了一种基于合成数据的LoRA迁移方法，使用大型语言模型生成合成数据以近似观察到的任务数据子集的数据生成过程，从而实现迁移。

论文通过实验展示了该方法在不同任务和模型之间的有效性，可实现几乎无数据损失的LoRA模块迁移，且在大多数情况下表现更好。该方法的亮点还包括使用了大型语言模型生成合成数据，具有较强的泛化能力，同时无需访问私有数据，具有实用性。

近期的相关研究包括使用生成对抗网络生成合成数据以提高模型性能的研究，如《Progressive Growing of GANs for Improved Quality, Stability, and Variation》。还有一些研究探讨了如何在不可用原始数据的情况下迁移模型，如《Zero-shot Knowledge Transfer via Adversarial Belief Matching》。