Parameter-Efficient Fine-Tuning for Foundation Models

本综述深入探讨了基础模型（FMs）中的参数高效微调（PEFT）领域。PEFT是一种成本效益高的微调技术，它在尽量减少参数和计算复杂度的同时，力求实现最佳的下游任务性能。像ChatGPT、DALL-E和LLaVA这样的FMs专精于语言理解、生成任务和多模态任务，并且是在涵盖文本、图像和视频的多样化数据集上进行训练的。FMs的多样性引导了PEFT的各种适应策略。因此，本综述旨在提供一个全面的概览，涵盖应用于各种FMs的PEFT技术，并解决对这些技术、趋势和应用的理解中的关键差距。我们首先详细介绍了FMs和PEFT的发展历程。随后，我们系统地回顾了不同FMs中PEFT的关键类别和核心机制，以提供对趋势的全面理解。我们还探索了最新的各种FMs中的应用，展示了PEFT的多功能性，并阐明了系统化PEFT方法与多种FMs的集成。此外，我们确定了未来改进PEFT的潜在研究和发展方向。本综述为希望理解和利用跨FMs的PEFT力量的新手和专家提供了宝贵的资源。所有被审阅的论文都列在[此链接](https://github.com/THUDM/Awesome-Parameter-Efficient-Fine-Tuning-for-Foundation-Models)中。

该论文试图解决如何在保持下游任务性能的同时，减少基础模型（FMs）如ChatGPT、DALL-E和LLaVA等在微调过程中所需的参数量和计算复杂度的问题。这是一个重要的问题，因为传统的全参数微调方法不仅成本高昂，而且效率低下。

论文的关键思路是通过Parameter-Efficient Fine-Tuning (PEFT)技术来实现这一目标。PEFT旨在最小化参数调整的数量，从而降低计算成本，同时保持或接近全参数微调的性能。相比当前领域的研究状况，这篇论文的新意在于系统地回顾了PEFT技术在不同FMs中的应用，并探讨了这些技术在多模态任务中的适应性。

论文的亮点包括：1) 系统地分类和综述了PEFT的核心机制和技术趋势；2) 探讨了PEFT在语言理解、生成任务和多模态任务中的最新应用；3) 提供了一个全面的资源库，列出了所有相关的研究论文和开源代码，方便研究人员进一步探索。此外，论文还提出了未来的研究方向，以改进PEFT技术。

最近在这个领域中，相关的研究还包括： - 'LoRA: Low-Rank Adaptation of Large Language Models'，探讨了低秩适配方法来提高微调效率。 - 'P-tuning v2: Prompt Tuning Can Be Comparable to Full Fine-tuning'，研究了通过提示微调来替代全参数微调的方法。 - 'BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Models'，提出了一种简单而有效的参数高效微调方法。 这些研究都旨在通过不同的方式减少微调时的参数更新量，从而提高效率和降低成本。