Parameter-Efficient Orthogonal Finetuning via Butterfly Factorization

大型基础模型正在变得普遍，但从头开始训练这些模型的成本太高了。因此，有效地将这些强大的模型适应到下游任务中变得越来越重要。在本文中，我们研究了一种有原则的微调范式——正交微调（OFT），用于下游任务的适应。尽管展示了良好的普适性，但由于正交矩阵的高维度，OFT仍然使用了相当数量的可训练参数。为了解决这个问题，我们首先从信息传输的角度来研究OFT，然后确定了一些关键的期望，以实现更好的参数效率。受Cooley-Tukey快速傅里叶变换算法实现高效信息传输的启发，我们提出了一种使用蝴蝶结构的有效正交参数化。我们将此参数化应用于OFT，创建了一种新颖的参数效率微调方法，称为正交蝴蝶（BOFT）。通过将OFT作为一种特殊情况包含在内，BOFT引入了一个广义的正交微调框架。最后，我们对大型视觉转换器、大型语言模型和文本到图像扩散模型进行了广泛的实证研究，以适应视觉和语言的各种下游任务。

Efficient adaptation of large foundation models to downstream tasks

Proposing a parameter-efficient finetuning method called Orthogonal Butterfly (BOFT) that uses an efficient orthogonal parameterization using butterfly structures

The paper conducts an extensive empirical study of adapting large vision transformers, large language models, and text-to-image diffusion models to various downstream tasks in vision and language. The proposed BOFT method outperforms existing methods in terms of parameter efficiency and task performance. The paper also provides open-source code for the proposed method.

Some related studies in this field include 'EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks', 'MobileNetV2: Inverted Residuals and Linear Bottlenecks', and 'Universal Language Model Fine-tuning for Text Classification' among others.