Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey

大型模型在多个应用领域都代表了一个突破性进展，使得在各种任务中取得了显著的成就。然而，它们前所未有的规模也带来了巨大的计算成本。这些模型通常由数十亿个参数组成，需要大量的计算资源才能执行。特别是，规模庞大和计算需求巨大的特点在将它们定制为特定下游任务时会带来相当大的挑战，特别是在计算能力受限的硬件平台上。参数高效微调（PEFT）提供了一种实用的解决方案，可以高效地将大型模型适应于各种下游任务。具体而言，PEFT 是指在最小化引入的附加参数或计算资源的数量的同时，调整预训练大型模型的参数以适应特定任务的过程。当处理具有高参数数量的大型语言模型时，这种方法尤为重要，因为从头开始微调这些模型可能会耗费大量的计算资源和资源，从而在支持系统平台设计方面带来相当大的挑战。在这份调查中，我们全面研究了各种 PEFT 算法，考察了它们的性能和计算开销。此外，我们还概述了使用不同 PEFT 算法开发的各种应用程序，并讨论了用于减轻 PEFT 计算成本的常见技术。除了算法角度外，我们还概述了各种现实世界的系统设计，以调查不同 PEFT 算法的实现成本。这份调查作为一个不可或缺的资源，为那些希望了解 PEFT 算法及其系统实现的研究人员提供了详细的见解，提供了有关最近进展和实际应用的详细信息。

PEFT算法的研究和应用

PEFT算法通过最小化引入的参数数量和计算资源，高效地调整预训练的大型模型以适应各种下游任务。

论文综述了各种PEFT算法的性能和计算开销，并概述了使用不同PEFT算法开发的应用程序和减少PEFT计算成本的常用技术。此外，还概述了各种现实世界的系统设计，以调查不同PEFT算法的实现成本。

最近的相关研究包括MorphNet、NetAdapt和ProxylessNAS等。