SCAR: Efficient Instruction-Tuning for Large Language Models via Style Consistency-Aware Response Ranking

最近的研究表明，通过保持人类专家的一致响应风格并增强训练集中的数据质量，可以显著提高微调大型语言模型（LLM）的性能，同时减少所需的训练样本数量。然而，响应风格的确切定义以及风格、数据质量和LLM性能之间的关系仍不清楚。本研究将响应风格分解为演示和构成风格，并发现在类似质量的训练数据中，风格一致性更高的数据可以带来更好的LLM性能。在此基础上，我们引入了风格一致性感知响应排序（SCAR），它根据训练集中指令-响应对的响应风格一致性自动排序。通过选择最具风格一致性的示例，从整个数据集的前25%到0.7%，微调的LLM在编码和开放式问答基准测试中可以匹配甚至超过在整个数据集上训练的模型。代码和数据可在https://github.com/zhuang-li/SCAR上获得。

论文旨在探讨维护一致的响应风格和提高训练集数据质量对于优化大型语言模型（LLM）性能的影响，以及响应风格与数据质量、LLM性能之间的关系。

将响应风格分解为演示风格和组合风格，并发现在质量相似的训练数据中，响应风格更一致的数据会导致更好的LLM性能。作者提出了一种基于响应风格一致性的训练集自动筛选方法，名为SCAR。

论文使用了开放式问答基准测试和编码基准测试，证明了SCAR方法的有效性。作者还提供了代码和数据集。

近期的相关研究包括《Fine-Tuning Language Models from Human Preferences》和《Learning to Learn from Noisy Data: Leveraging the Relationship between Data Quality and Performance》等。