Parameter-Efficient Fine-Tuning With Adapters

在语言模型微调领域，传统方法如领域自适应预训练（DAPT）和任务自适应预训练（TAPT）虽然有效，但计算量大。本研究引入了一种新颖的自适应方法，利用UniPELT框架作为基础，并添加了PromptTuning层，显著降低了可训练参数的数量，同时在各种基准测试中保持了竞争性能。我们的方法采用适配器，使得预训练模型能够高效地转移到新任务上，而只需最小程度地重新训练基础模型参数。我们使用三个不同的数据集进行评估：GLUE基准测试、包含四个不同领域的特定领域数据集以及斯坦福问答数据集1.1（SQuAD）。我们的结果表明，我们的自定义适配器方法在需要更少或相等数量参数的情况下，实现了与完整模型微调、DAPT+TAPT和UniPELT策略相当的性能。这种参数效率不仅减轻了计算负担，还加快了自适应过程。该研究强调了适配器在实现高性能时能够显著降低资源消耗的潜力，为未来研究提供了一个有前途的方向，即参数高效微调。

本论文旨在提出一种新的适应方法，以减少可训练参数的数量，同时在各种基准测试中保持竞争性能，从而解决语言模型微调中传统方法的计算密集性问题。

本论文提出了一种基于适配器的方法，利用UniPELT框架作为基础并添加了PromptTuning层，使得预训练模型能够有效地转移到新任务中，而无需重新训练基础模型参数。

本论文使用了三个不同的数据集进行评估：GLUE基准测试、包含四个不同领域的特定领域数据集以及Stanford问答数据集1.1（SQuAD）。实验结果表明，本论文提出的基于适配器的方法在需要更少或相等数量的参数的情况下，实现了与全模型微调、DAPT+TAPT和UniPELT策略相当的性能。这种参数效率不仅减轻了计算负担，还加快了适应过程。该研究强调了适配器在实现高性能的同时显著减少资源消耗的潜力，为未来参数高效微调研究提供了有前途的方向。

在这个领域中，最近的相关研究包括Domain-Adaptive Pretraining（DAPT）和Task-Adaptive Pretraining（TAPT）等传统方法，以及UniPELT框架等新方法。