标题：清华、智源|P-Tuning v2: Prompt Tuning Can Be Comparable to Finetuning Universally Across Scales and Tasks（P-Tuning v2：即时调优与跨规模和任务的通用微调相媲美）

作者：Xiao Liu, Kaixuan Ji, Yicheng Fu, Zhilin Yang, Jie Tang等

简介：本文介绍了一种微调大模型的快速有效方法。提示调优，只调优连续使用冻结的语言模型提示，大大减少了训练时每个任务的存储和内存使用。然而，在上下文中NLU之前的工作和作者的结果表明，现有的快速调优方法对于正常大小的预训练模型表现不佳；对于较难的序列任务，缺乏普遍性。作者提出了一个新的发现，适当优化的提示调整可以在不同尺寸模型和NLU任务广泛的范围内普遍有效，它媲美微调的性能，同时具有只有0.1%-3%的调谐参数。作者P-Tuning v2不是一种新方法，而是针对NLU优化和改编的前缀调整版本。鉴于P-Tuning v2的通用性和简单性，作者相信它可以作为微调的替代方案和未来研究的强大基线。

代码下载：https://github.com/THUDM/P-tuning-v2

论文下载：https://arxiv.org/pdf/2110.07602v1.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除