LESS: Selecting Influential Data for Targeted Instruction Tuning

指令调整已经在大型语言模型（LLMs）中解锁了强大的能力，有效地利用了组合数据集来开发通用聊天机器人。然而，现实世界的应用通常需要一套专业的技能（例如推理）。挑战在于从这些广泛的数据集中识别出最相关的数据，以有效地开发特定的能力，这是我们所称的目标指令调整。我们提出了LESS，一种优化器感知和实际高效的算法，可以有效地估计数据影响力并执行低秩梯度相似性搜索，以进行指令数据选择。至关重要的是，LESS将现有的影响力公式适应于与Adam优化器和可变长度指令数据一起使用。LESS首先构建一个高度可重用和可转移的梯度数据存储库，具有低维度的梯度特征，然后基于它们与特定能力相体现的少量示例的相似性来选择示例。实验表明，在LESS选择的5％数据上进行培训通常可以在各种下游任务中胜过在完整数据集上进行培训。此外，所选数据具有高度可转移性：可以利用较小的模型为较大的模型和来自不同家族的模型选择有用的数据。我们的定性分析表明，我们的方法超越了表面形式线索，以识别出体现所需推理技能的数据，以用于预期的下游应用。

如何从大规模语言模型中筛选出特定能力的数据，以便开发出具有特定技能的聊天机器人？

提出了一种优化器感知的算法LESS，通过构建可重用和可转移的梯度数据存储库，并根据其与特定能力的少量样本的相似度选择样本，从而有效地估计数据影响并进行低秩梯度相似性搜索，以实现目标指令调整。

实验结果表明，使用LESS选择的5%数据进行训练，往往可以在各种下游任务中优于使用整个数据集进行训练。此外，选择的数据具有很高的可转移性，可以利用较小的模型为较大的模型选择有用的数据，并且该方法可以超越表面形式线索，识别出展示所需推理技能的数据。

近期的相关研究包括：《How Can We Know What Language Models Know?》、《Learning Transferable Visual Models From Natural Language Supervision》、《Few-shot Learning With Language Models》等。