ReFT: Representation Finetuning for Language Models

Parameter-efficient fine-tuning（PEFT）方法旨在通过对少量权重的更新来适应大型模型。然而，先前的可解释性研究表明，表示编码了丰富的语义信息，暗示着编辑表示可能是一种更强大的替代方法。因此，我们通过开发一系列$\textbf{表示微调（ReFT）}$方法来探索这个假设。ReFT方法在一个冻结的基础模型上运行，并学习对隐藏表示进行特定于任务的干预。我们定义了ReFT家族的一个强实例——低秩线性子空间ReFT（LoReFT）。LoReFT是现有PEFT的可替换组件，并学习比先前最先进的PEFT更节约10倍至50倍的干预。我们在八个常识推理任务、四个算术推理任务、Alpaca-Eval v1.0和GLUE上展示了LoReFT。在所有这些评估中，LoReFT提供了最佳的效率和性能平衡，并几乎总是优于最先进的PEFT。我们在https://github.com/stanfordnlp/pyreft上公开了一个通用的ReFT训练库。

论文旨在开发一种新的表示微调方法，即ReFT，以提高参数效率和性能。作者试图验证通过编辑表示来提高模型性能的假设。

ReFT方法是一种基于冻结基本模型并在隐藏表示上学习任务特定干预的表示微调方法。LoReFT是ReFT家族中的一种强实例，可以替代现有的PEFT方法，并学习比先前最先进的PEFT方法更高效的干预。LoReFT的关键思路是通过学习低秩线性子空间干预来编辑表示。

论文在8个常识推理任务，4个算术推理任务，Alpaca-Eval v1.0和GLUE数据集上展示了LoReFT的性能。LoReFT在效率和性能之间提供了最佳平衡，并且几乎总是优于最先进的PEFT方法。作者公开了一个通用的ReFT训练库。

最近的相关研究包括PEFT方法和表示学习方法。