A Single Linear Layer Yields Task-Adapted Low-Rank Matrices

本研究旨在深入探讨Low-Rank Adaptation (LoRA)方法的行为，该方法是一种广泛使用的参数高效微调方法，其通过由两个低秩矩阵A和B组成的增量矩阵ΔW更新初始权重矩阵W0。先前的一项研究表明，W0和ΔW之间存在相关性。本研究旨在进一步探讨W0和低秩矩阵A和B之间的关系，以更深入地理解LoRA的行为。特别地，我们分析了一个转换矩阵，该矩阵将W0转换为低秩矩阵，其中包含有关这些关系的信息。我们的分析表明，转换矩阵在每个层次上都很相似。受这些发现的启发，我们假设一个单一的线性层，它以每个层的W0作为输入，可以产生适用于任务的低秩矩阵。为了验证这个假设，我们设计了一种名为Conditionally Parameterized LoRA (CondLoRA)的方法，该方法使用从单个线性层派生的低秩矩阵更新初始权重矩阵。我们的实证结果表明，尽管CondLoRA的可训练参数比LoRA少，但它的性能与LoRA相当。因此，我们得出结论：“一个单一的线性层产生适用于任务的低秩矩阵。”

探究Low-Rank Adaptation (LoRA)方法中初始权重矩阵和低秩矩阵之间的关系，以及是否可以通过一个线性层来生成适应任务的低秩矩阵。

通过分析将初始权重矩阵转化为低秩矩阵的转换矩阵的相似性，提出了通过一个线性层来生成适应任务的低秩矩阵的假设，并设计了Conditionally Parameterized LoRA (CondLoRA)方法进行实验验证。

论文发现了低秩矩阵和初始权重矩阵之间的相关性，并提出了一个新的假设和方法，实验证明该方法在参数更少的情况下能够达到与原方法相当的性能。实验使用了公开数据集，但未开源代码。

相关研究包括Fine-Tuning、Low-Rank Approximation和Parameter-Efficient Fine-Tuning等方法。