Kun: Answer Polishment for Chinese Self-Alignment with Instruction Back-Translation

本文介绍了Kun，一种新颖的方法，用于创建大型语言模型（LLMs）的高质量指令调整数据集，而无需依赖手动注释。Kun采用自我训练算法，基于指令反向翻译和答案优化，利用来自各种来源的未标记数据，如Wudao、Wanjuan和SkyPile，生成超过一百万个中文指令数据点的实质性数据集。这种方法通过使用自我策划过程来细化和选择最有效的指令-输出对，显著偏离了传统方法。我们在各种基准测试中使用6B参数Yi模型的实验表明，Kun具有鲁棒性和可扩展性。我们方法的核心贡献在于其算法进步，提高了数据保留和清晰度，以及其创新的数据生成方法，大大降低了对昂贵和耗时的手动注释的依赖。这种方法论提供了一种可扩展和高效的解决方案，用于提高LLMs的指令遵循能力，对它们在不同领域的应用具有重大意义。代码和数据集可在https://github.com/Zheng0428/COIG-Kun找到。

论文旨在提出一种新方法，通过自我训练算法生成高质量的中文指令数据集，以提高大型语言模型的指令跟随能力。

该论文的关键思路是通过自我训练算法，基于指令的反向翻译和答案优化，利用来自各种来源的未标记数据生成一个包含超过一百万个中文指令数据点的数据集。该方法通过自我筛选和精炼过程，选择最有效的指令-输出对。相比传统方法，该方法的创新之处在于其算法的改进和数据生成方法的创新，大大减少了对昂贵且耗时的手动注释的依赖。

论文通过实验展示了该方法的鲁棒性和可扩展性，使用了6B参数的Yi模型在各种基准测试中进行了测试。该方法的亮点在于自我训练算法、数据生成方法和数据筛选过程。该论文提供了代码和数据集的开源，为改进大型语言模型的指令跟随能力提供了一个可扩展和高效的解决方案。

最近的相关研究包括使用自监督学习和强化学习来提高大型语言模型的指令跟随能力，如《Improving Language Understanding by Generative Pre-Training》和《Plug and Play Language Models: A Simple Approach to Controlled Text Generation》。