SVFT: Parameter-Efficient Fine-Tuning with Singular Vectors

流行的参数高效微调（PEFT）方法，例如LoRA及其变体，冻结预训练模型权重W并注入可学习矩阵ΔW。这些ΔW矩阵的结构被设计为高效的参数化，通常使用低秩逼近或缩放向量等技术。然而，这些方法通常与完全微调相比存在性能差距。虽然最近的PEFT方法已经缩小了这个差距，但是这是以额外的可学习参数为代价的。我们提出了SVFT，这是一种与现有方法根本不同的简单方法：对ΔW施加的结构取决于特定的权重矩阵W。具体而言，SVFT通过W的奇异向量的外积的稀疏组合来更新W，仅训练这些稀疏组合的系数（比例）。这种方法通过系数的数量实现了对表达能力的细粒度控制。对语言和视觉基准的大量实验表明，SVFT仅训练0.006到0.25％的参数，即可恢复高达96％的完全微调性能，优于现有方法，这些方法仅使用0.03到0.8％的可训练参数预算恢复高达85％的性能。

本论文旨在提出一种新的参数高效微调方法，以解决传统PEFT方法在性能和可训练参数数量之间的权衡问题。

SVFT是一种新的参数高效微调方法，通过将权重矩阵W更新为奇异向量的外积的稀疏组合来实现，只训练这些稀疏组合的系数（比例），从而在可训练参数数量极少的情况下实现与全微调相当的性能。

实验结果表明，SVFT在训练参数数量仅为0.006至0.25％的情况下，可以恢复高达96％的全微调性能，优于现有方法。论文使用了多个语言和视觉基准数据集，并提供了开源代码。

与该论文相关的研究包括LoRA和其变体，这些方法也是参数高效微调的方法。