HydraLoRA: An Asymmetric LoRA Architecture for Efficient Fine-Tuning

通过微调将大型语言模型（LLMs）适应于新任务已经变得更加高效，这得益于引入了Parameter-Efficient Fine-Tuning（PEFT）技术，例如LoRA。然而，这些方法通常表现不如完全微调，特别是在涉及复杂数据集的情况下。这个问题在复杂领域中变得更加明显，强调了需要改进PEFT方法以实现更好性能的必要性。通过一系列实验，我们发现了两个关键的见解，揭示了LoRA的训练和参数效率问题。基于这些见解，我们开发了HydraLoRA，这是一个具有不对称结构的LoRA框架，可以消除领域专业知识的需求。我们的实验表明，HydraLoRA优于其他PEFT方法，甚至优于那些在训练和推断阶段依赖领域知识的方法。 \href{https://github.com/Clin0212/HydraLoRA}{代码链接}。

本论文旨在解决PEFT方法在复杂数据集和领域中表现不佳的问题，提出了一个新的PEFT框架HydraLoRA。

HydraLoRA是一个不对领域知识有要求的PEFT框架，采用了不对称结构，通过一系列实验验证了其优于其他PEFT方法的性能。

论文通过实验研究发现了LoRA的训练和参数效率问题，并提出了HydraLoRA框架来解决这些问题。实验使用了多个数据集，并且提供了开源代码。

在PEFT领域，还有一些相关研究，如《Parameter-Efficient Transfer Learning with DiffPruning》和《TinyBERT》等。