DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution

调整大规模预训练模型固然可以增强模型的能力，但这本身是一项资源密集型的任务，也会产生巨大的计算成本，给下游任务的实际应用带来挑战。现有的参数高效调整（PEFT）方法，如低秩适应（LoRA），依赖于一个绕过框架，忽略了权重矩阵之间不同的参数预算需求，这可能导致次优的微调结果。为了解决这个问题，我们引入了动态低秩适应（DoRA）方法。DoRA将高秩LoRA层分解成结构化的单秩组件，允许根据它们对特定任务的重要性在训练期间动态修剪参数预算，从而充分利用有限的参数预算。实验结果表明，与LoRA和全模型微调相比，DoRA可以实现有竞争力的性能，并且在相同的存储参数预算下优于各种强基线。我们的代码可在https://github.com/MIkumikumi0116/DoRA获得。

本论文旨在解决大规模预训练模型微调过程中计算资源消耗大的问题，提出了一种动态低秩适应方法（DoRA）来优化微调结果。

DoRA将高秩LoRA层分解为结构化的单秩组件，允许根据任务的重要性动态剪枝参数预算，从而最大化有限的参数预算。

论文通过实验验证了DoRA方法与LoRA和完整模型微调相比具有竞争性的性能，并且使用相同的存储参数预算优于各种强基线。代码已经开源。

与此相关的研究包括Low-Rank Adaptation (LoRA)等方法。