Instruction Tuning for Large Language Models: A Survey

Shengyu Zhang, Linfeng Dong, Xiaoya Li, Sen Zhang, Xiaofei Sun, Shuhe Wang, Jiwei Li, Runyi Hu, Tianwei Zhang, Fei Wu, Guoyin Wang

本文分析快速发展的指令调谐（IT）领域的研究工作，这是提高大型语言模型（LLM）的能力和可控性的关键技术。指令调优是指以监督方式在由\textsc{（指令，输出）}对组成的数据集上进一步训练LLM的过程，这弥合了LLM的下一个单词预测目标与用户让LLM遵守人类指令的目标之间的差距。

在这项工作中，我们对文献进行了系统审查，包括IT的一般方法、IT数据集的构建、IT模型的培训以及不同模式、领域和应用程序的应用，以及对影响IT结果的方面（例如，指令输出的生成、指令数据集的大小等）进行分析。我们还回顾了IT的潜在陷阱以及对IT的批评，以及努力指出现有战略的当前缺陷，并提出了一些富有成效的研究途径。

内容中包含的图片若涉及版权问题，请及时与我们联系删除