ReFT: Representation Finetuning for Language Models

参数有效微调（PEFT）方法旨在通过对少量权重的更新来调整大型模型。然而，许多先前的可解释性研究表明，表示编码了丰富的语义信息，这表明编辑表示可能是一种更强大的选择。在这里，我们通过开发一系列$\textbf{表示微调（ReFT）}$方法来探索这个假设。ReFT方法在一个冻结的基本模型上操作，并学习对隐藏表示的特定于任务的干预。我们定义了ReFT家族的一个强实例，低秩线性子空间ReFT（LoReFT）。LoReFT是现有PEFT的可插入替换，并学习比先前最先进的PEFT方法更节省10倍至50倍的参数的干预。我们在八个常识推理任务、四个算术推理任务、Alpaca-Eval v1.0和GLUE上展示了LoReFT。在所有这些评估中，LoReFT提供了效率和性能的最佳平衡，并且几乎总是优于最先进的PEFT方法。我们在https://github.com/stanfordnlp/pyreft上公开发布了通用的ReFT训练库。

论文试图通过开发一系列基于表示的微调方法来解决参数效率微调方法的不足之处，以提高模型的效率和性能。这是否是一个新问题？

论文提出了一种基于表示的微调方法，即ReFT，它通过对隐藏表示的任务特定干预来学习，是现有PEFT方法的替代品。其中，LoReFT是ReFT家族中的一种强大的方法，它比现有最先进的PEFT方法更加参数高效，学习到的干预可以达到10-50倍的参数效率提高。

论文在8个常识推理任务、4个算术推理任务、Alpaca-Eval v1.0和GLUE上展示了LoReFT的性能。实验结果表明，LoReFT在效率和性能方面都表现最佳，并且几乎总是优于现有最先进的PEFT方法。此外，论文还公开了一个通用的ReFT训练库。

最近的相关研究包括：PEFT方法以及其他基于表示的微调方法。