DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution

本文讨论了微调大规模预训练模型的资源密集型问题。虽然微调可以增强模型的能力，但也会产生大量的计算成本，给下游任务的实际应用带来挑战。现有的参数高效微调（PEFT）方法，例如低秩适应（LoRA），依赖于绕过框架，忽略权重矩阵之间差异的参数预算要求，这可能导致微调结果次优。为了解决这个问题，我们引入了动态低秩适应（DoRA）方法。DoRA将高秩LoRA层分解为结构化的单秩组件，允许基于它们在训练期间对特定任务的重要性进行动态剪枝参数预算，从而充分利用有限的参数预算。实验结果表明，与LoRA和完整模型微调相比，DoRA可以实现具有竞争力的性能，并且在相同存储参数预算下优于各种强基线。我们的代码可在https://github.com/Yulongmao1/DoRA/获得。

本论文旨在解决参数效率精调（PEFT）中的参数预算分配问题，提出了一种动态低秩适应（DoRA）方法，结合精细的参数预算动态剪枝，以最大化有限参数预算的利用。

DoRA方法将高秩LoRA层分解为结构化的单秩组件，允许在训练过程中基于它们对特定任务的重要性进行动态参数预算剪枝，从而提高精调效率。

本论文通过实验证明，DoRA方法在与LoRA和完整模型微调相比时，可以实现具有竞争力的性能，并且在具有相同存储参数预算的情况下，优于各种强基线。该论文的代码已经开源。

在这个领域的相关研究包括参数效率微调方法，如LoRA和其他低秩适应方法，以及动态剪枝方法。