Conifer: Improving Complex Constrained Instruction-Following Ability of Large Language Models

大型语言模型（LLMs）遵循指令的能力对于现实世界的应用至关重要。尽管最近取得了一些进展，但几项研究已经强调，LLMs在面对具有复杂约束条件的挑战性指令时存在困难，从而影响了它们在各种任务中的有效性。为了解决这个挑战，我们介绍了Conifer，这是一个新颖的指令调整数据集，旨在增强LLMs遵循具有复杂约束条件的多级指令。我们利用GPT-4通过一系列基于LLM的精细过程来策划数据集，以确保高质量。我们还提出了一种渐进式学习方案，强调易于难的进展和学习过程反馈。使用Conifer训练的模型表现出了显着的指令遵循能力改进，特别是对于具有复杂约束条件的指令。在几个指令遵循基准测试中，我们的7B模型优于最先进的开源7B模型，在某些指标上甚至超过了10倍大的模型的性能。所有的代码和Conifer数据集都可以在https://www.github.com/ConiferLM/Conifer上获得。

本文旨在解决大型语言模型在面对具有复杂约束的多级指令时表现不佳的问题，提出了一个名为Conifer的指令调整数据集，以及一种渐进式学习方案，以提高模型的指令遵循能力。

该论文的关键思路是使用GPT-4进行指令调整数据集的筛选和优化，然后采用渐进式学习方案，从易到难进行训练，并从过程反馈中学习，以提高模型的指令遵循能力。

该论文的亮点包括：使用GPT-4进行指令调整数据集的筛选和优化，采用渐进式学习方案，从易到难进行训练，并从过程反馈中学习，使得训练出的模型在指令遵循能力方面表现出色。在多个指令遵循基准测试中，我们的7B模型优于开源的7B模型的最新状态，并在某些指标上甚至超过了10倍大的模型的性能。所有代码和Conifer数据集都可在https://www.github.com/ConiferLM/Conifer上获得。

最近在这个领域中，还有一些相关研究，如《Improving Multi-Step Reasoning using Dense Retrieval》、《Learning to Follow Navigation Instructions》等。