SuperLoRA: Parameter-Efficient Unified Adaptation of Multi-Layer Attention Modules

本文提出了一个称为SuperLoRA的通用框架，它统一并扩展了不同的LoRA变体，可以在不同的超参数设置下实现。SuperLoRA引入了分组、折叠、洗牌、投影和张量分解等方法，相比其他LoRA变体具有更高的灵活性，并在极少参数情况下表现出优越的迁移学习性能，特别是在自然语言处理的大型语言模型和计算机视觉的扩散模型等领域。

本论文旨在提出一种称为SuperLoRA的通用框架，用于统一和扩展不同的低秩适应（LoRA）变体，以在转移学习任务中实现超越其他LoRA变体的灵活性和性能。

SuperLoRA通过引入分组、折叠、洗牌、投影和张量分解等技术，提供了高度灵活性，并在极少参数的情况下表现出卓越的性能。

论文的实验结果表明，SuperLoRA在自然语言处理和计算机视觉等领域的转移学习任务中表现出优越的性能，并提供了开源代码供研究人员使用。

在最近的相关研究中，还有一些类似的低秩适应技术被提出，如LAMOL和LTH。