Comparative Analysis of Different Efficient Fine Tuning Methods of Large Language Models (LLMs) in Low-Resource Setting

在大型语言模型（LLMs）领域中，arXiv:2305.16938表明，少样本全模型微调（即香草微调和基于模式的微调）以及上下文学习在域外数据集上的泛化能力相似，但在任务适应方面有所不同。然而，它们都存在挑战，尤其是在内存需求方面。本文进一步尝试推动对LLM不同微调策略的理解，旨在将这些策略与两个不同的数据集上的全模型微调进行详细比较。为此，我们进行了一系列实验，首先使用香草微调和基于模式的微调等最先进的方法在COLA和MNLI两个数据集上进行预训练模型的微调。然后，我们研究了自适应微调和LoRA适配器在少样本情况下的效率。最后，我们还将最近流行的另一种方法——上下文蒸馏与香草微调和基于模式的微调进行了比较，包括少样本设置和无少样本设置。我们的研究结果表明，我们探索的这些替代策略可以展现出与香草微调和基于模式的微调相似的域外泛化能力。基于模式的微调在域外数据上表现不如香草微调，强调了有效提示的必要性。此外，我们的自适应微调和LoRA实验与标准微调相当或略差，这是可以预料的，因为标准微调涉及对整个模型进行微调。最后，我们的上下文蒸馏实验优于标准微调方法。这些发现强调了最终选择适当的微调方法取决于可用资源（内存、计算、数据）和任务适应性。

论文旨在比较不同的fine-tuning策略对于大型语言模型的效果，以及探讨这些策略的适用性和资源需求。具体而言，论文试图回答如何在不同的数据集上进行fine-tuning，以及如何在有限的资源下进行few-shot学习。

论文比较了多种fine-tuning策略（包括Vanilla Fine Tuning、Pattern-Based Fine Tuning、adaptive fine-tuning、LoRA adapters和context distillation）的效果，并探讨了它们的适用性和资源需求。实验结果表明，这些策略可以在out-of-domain数据上获得与Vanilla Fine Tuning和Pattern-Based Fine Tuning相当的泛化能力。此外，context distillation方法表现出了优异的效果。

论文使用了两个数据集（COLA和MNLI）进行实验，并开源了代码。实验结果表明，不同的fine-tuning策略适用于不同的任务和资源需求。此外，context distillation方法在一些任务上表现出了优异的效果，值得进一步研究。

近期的相关研究包括arXiv:2106.00872、arXiv:2012.15758和arXiv:2106.05784等。