Parameter Efficient Quasi-Orthogonal Fine-Tuning via Givens Rotation

随着预训练语言模型（PLMs）性能的不断提升和规模的不断扩大，促进微调中的参数效率已成为有效适应各种下游任务的关键需求。一种代表性的微调方法是正交微调（OFT），它严格保留参数空间内的角距离以保留预训练知识。尽管OFT在经验上是有效的，但仍然存在参数效率低（$\mathcal{O}(d^2)$）和下游适应能力有限的问题。受Givens旋转的启发，本文提出了准Givens正交微调（qGOFT）来解决这些问题。我们首先使用$\mathcal{O}(d)$ Givens旋转来完成$SO(d)$中的任意正交变换，并证明了它们的等价性，将参数复杂度从$\mathcal{O}(d^2)$降低到$\mathcal{O}(d)$。然后我们引入了柔性范数和相对角度调整，通过软正交正则化增强了下游语义偏差的适应能力。各种任务和PLMs上的大量实验证实了我们方法的有效性。

本文旨在解决在fine-tuning中，参数效率低下且适应能力有限的问题。

本文提出了一种基于Givens旋转的正交fine-tuning方法(qGOFT)，将参数复杂度从O(d^2)降至O(d)，并引入柔性正交正则化以增强适应能力。

实验结果表明，qGOFT在多个任务和PLMs上均表现出良好的效果。

该领域的相关研究包括传统的OFT方法以及其他正交化方法，例如SVD和QR分解。