Self-Alignment with Instruction Backtranslation

Xian Li, Ping Yu, Chunting Zhou, Timo Schick, Luke Zettlemoyer, Omer Levy, Jason Weston, Mike Lewis
[Meta AI]

基于指令回译的语言模型自对齐

要点:

  • 论文提出一种自对齐方法指令回译(instruction backtranslation)，用语言模型自己生成指令，然后选择高质量样本进行微调。
  • 从一个小规模的种子数据集出发，使用该方法可自动生成大规模指令-文本对作为训练数据，关键是利用语言模型自己评估样本质量进行筛选。
  • 通过两轮迭代，基于LLaMa的模型Humpback在Alpaca leaderboard上取得非知识蒸馏模型的最优表现，展现出高效的自对齐能力。
  • 在常识推理、自然语言理解等多个benchmark上，微调后的Humpback相比原模型有提升。
  • 实验表明高质量数据比大规模低质量数据更有效，同时种子数据和生成数据互为补充，显示出质量比数量更重要。
  • 模型自己选择高质量数据的能力会随着训练提升，解释了该方法的有效性。
  • 语言模型通常认为对抗性强，但Humpback在部分敏感提示上显示出谨慎回答。
  • 该方法提供了一种可扩展的语言模型自对齐范式,为指令执行带来新的思路。

动机：现有的大型语言模型(LLM)对指令的执行通常需要大量人工标注的指令或偏好。人工标注的数据质量难以扩展，本文提出一种利用大量未标记数据创建高质量指令微调数据集的迭代自训练算法。
方法：新提出的方法称为“指令回译”，首先用种子指令模型和网络语料库，通过自增强和自筛选的方式，生成高质量的训练示例以提高自身性能。该过程包括自增强(为未标记数据生成指令)和自我筛选(选择高质量示例)两个核心步骤。
优势：该方法可扩展，能使语言模型提高自身遵循指令的能力。通过两次迭代，在Alpaca排行榜上的表现超过了所有其他基于LLaMa的模型，展示了高效的自对齐效果。

提出了一种名为“指令回译”的创新方法，通过自增强和自筛选的迭代过程，利用未标记的网络语料库构建高质量的指令调整数据集，从而提高了大型语言模型的指令遵循能力。

https://arxiv.org/abs/2308.06259 


图片图片图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除