大模型微调指南：当GPU资源不足时的有效解决方案

【推荐理由】本文系统地概述和比较了超过40篇在2019年2月至2023年2月期间发表的参数高效调整方法，是一份详细的微调指南。

Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning
Vladislav Lialin, Vijeta Deshpande, Anna Rumshisky

[UMass Lowell & Alexa AI]

【论文链接】https://arxiv.org/pdf/2303.15647.pdf

【摘要】本文系统地概述和比较了超过40篇在2019年2月至2023年2月期间发表的参数高效调整方法。这些方法旨在通过仅训练一小组参数来解决调整大型语言模型的不可行性和不实用性。作者提供了一个涵盖广泛方法的分类法，并重点介绍了实际效率和调整数十亿级语言模型的细节方法比较。