Fine-tuning Large Language Models with Sequential Instructions

大型语言模型（LLMs）在单个查询中遵循一系列指令时往往会忽略或误解其中的部分内容，从而影响它们在需要多个中间步骤的复杂问题中的表现，比如多语言（先翻译再回答）和多模态（先加标题再回答）任务。我们使用开源的LLMs，如LLaMA-2 70B和Mixtral-8x7B，进行了实证验证。针对现有数据中顺序指令的稀缺性，我们提出了顺序指令调整，这是一种简单而有效的策略，可以自动增加指令调整数据，并使LLMs具备执行多个顺序指令的能力。在探索现有数据集（如Alpaca）中交错指令和各种中间任务后，我们发现，顺序指令调整模型在涉及推理、多语言和多模态能力的下游任务中始终优于传统的指令调整基线。为了进一步阐明我们的技术，我们分析了对抗性中间文本、未见任务、提示语言表达、任务数量和提示长度如何影响SIT。我们希望这种方法将为解决复杂任务的指令调整开辟新的研究途径。

论文试图提高大型语言模型在多步骤任务中的性能，解决它们在单个查询中可能忽略或误解部分指令的问题。

论文提出了顺序指令调整的策略，通过在现有数据集中交错指令和中间任务来自动增加指令调整数据，从而使大型语言模型能够执行多个顺序指令。

论文在多个任务中测试了顺序指令调整的效果，并发现它在涉及推理、多语言和多模态能力的下游任务中始终优于传统的指令调整基线。实验使用了开源的大型语言模型，如LLaMA-2 70B和Mixtral-8x7B，并探讨了对SIT的影响因素，如对抗性中间文本、未见过的任务、提示语言表述、任务数量和提示长度等。

相关研究包括指令调整和多步骤任务的研究。