An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models

在指令数据集上进行监督微调（SFT）在实现现代大型语言模型（LLMs）的显着零-shot泛化能力方面发挥了关键作用。然而，为了为指令生产高质量的响应所需的注释工作变得越来越昂贵，特别是随着指令数据集涵盖的任务数量不断增加。主动学习在从未标记的样本池中识别有用的子集方面是有效的，但其高计算成本仍然是其在LLMs上广泛应用的障碍。为了减轻SFT的注释成本并规避主动学习的计算瓶颈，我们提出使用实验设计。实验设计技术选择最具信息量的样本进行标记，并通常最大化某种不确定性和/或多样性概念。在我们的工作中，我们实现了一个框架，评估了几种现有和新颖的实验设计技术，并发现这些方法始终以较小的计算开销显著提高了标签效率。在生成任务中，我们的方法只需随机抽样所需注释成本的50％即可实现相同的泛化性能。

论文旨在解决在大型语言模型中，指令数据集标注成本高昂且存在计算瓶颈的问题。

论文提出利用实验设计技术来降低标注成本和计算开销，从而改善指令数据集的标注效率。

论文实现了多种实验设计技术，并发现这些方法可以显著提高标注效率，且计算开销较小。在生成任务上，与随机采样相比，实验设计技术只需要50%的标注成本就能达到相同的泛化性能。论文还提供了数据集和代码。

与本论文相关的研究包括使用主动学习来降低标注成本和利用先验知识来提高模型性能的研究。例如，Active Learning for Natural Language Processing: A Survey和Zero-shot Learning - A Comprehensive Evaluation of the Good, the Bad and the Ugly.