From Complex to Simple: Enhancing Multi-Constraint Complex Instruction Following Ability of Large Language Models

对于大型语言模型（LLMs）来说，遵循详细要求（即复杂指令跟随）至关重要。然而，如何提高LLMs遵循具有多个限制的复杂指令的能力仍未得到充分探讨。为了弥合这一差距，我们最初研究了哪些训练数据能够有效提高复杂限制的跟随能力。我们发现，使用包含多个限制的指令来训练LLMs可以增强它们理解复杂指令的能力，特别是那些较低复杂度级别的指令。这种改进甚至可以推广到跨域限制的组合。此外，我们进一步提出了如何获取和利用有效训练数据的方法。最后，我们进行了大量实验，以证明我们的方法在四个设置下的整体性能、训练效率和泛化能力的有效性。

如何提高大型语言模型（LLMs）遵循具有多个约束条件的复杂指令的能力？这是一个新问题吗？

通过训练LLMs使用包含多个约束条件的指令，可以提高它们理解复杂指令的能力，特别是那些较低复杂度级别的指令。同时，还提出了获取和利用有效训练数据的方法。

论文通过实验验证了提出的方法在整体性能、训练效率和泛化能力方面的有效性。实验使用了四种不同的设置和数据集，并提供了开源代码。

最近的相关研究包括《How Can We Know What Language Models Know?》、《Learning to Follow Natural Language Directions》等。