Instruction Mining: High-Quality Instruction Data Selection for Large Language Models

Yihan Cao, Yanbin Kang, Lichao Sun
[CMU & Lehigh University]

指令挖掘：大规模语言模型的高质量指令数据选择

要点:

  • 动机：提高大型语言模型在解释和响应指令方面的能力。尽管大规模预训练赋予了模型生成自然语言响应的强大能力，但这些预训练模型有时仍然无法理解人类的指令。因此，指令微调作为一种关键方法在这一领域中变得越来越重要。最近的研究发现，即使只使用少量高质量的指令遵循数据，也可以对大型语言模型进行微调以获得良好的性能。然而，选择用于微调语言模型的高质量数据集仍缺乏明确的指导原则。
  • 方法：Instruction Mining，一种用于评估指令遵循数据质量的线性规则。使用特定的自然语言指标来制定Instruction Mining。为了研究数据质量与这些指标之间的关系，论文进行了大量的微调实验，并将实验结果应用于估计Instruction Mining的参数。此外，论文还使用Instruction Mining从未见过的数据集中选择高质量的数据，并证明Instruction Mining能够帮助选择各种指令遵循数据集中相对高质量的样本。与未经筛选的数据集上进行微调的模型相比，经过Instruction Mining筛选的数据集上进行微调的模型在42.5%的情况下性能更好。
  • 优势：提出一种简单且可解释的方法来量化和选择高质量的指令遵循数据。Instruction Mining是一个线性质量规则和一组指标，用于评估指令跟随数据的质量，并通过对LLAMA-7B模型进行广泛的微调实验来估计Instruction Mining的参数。全面的结果表明，Instruction Mining可以显著提高微调性能，在42.5%的案例中，经过筛选的数据上进行微调的模型表现更好。


Instruction Mining是一种用于选择高质量指令数据的线性规则，能够有效提高大型语言模型的微调性能。

https://arxiv.org/abs/2307.06290 


图片
图片
图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除