Prompt-Based Length Controlled Generation with Multiple Control Types

大型语言模型（LLMs）由于在各种自然语言处理任务中表现出色而受到了广泛关注。在实践中，用户通常希望生成的文本长度在特定范围内，因此长度控制生成是一个重要的话题，特别是对于类GPT模型。现有的长度控制方法大多集中在“等于”目标长度的简单控制类型上。与它们不同，我们提出了一种基于提示的方法，可以在不同的控制类型下实现高精度的长度控制生成。具体而言，我们采用强化学习（RL）和样本过滤，通过基于规则的奖励模型给出的奖励信号来增强模型的长度控制能力，奖励遵循特定的控制指令的输出。此外，我们引入了一个标准的提示提取器，将任意用户输入解析为标准的控制指令。实验表明，我们的方法显著提高了基于提示的长度控制在流行的摘要数据集（如CNNDM和NYT）上的准确性，同时在多种控制类型下都表现得很好。此外，标准提示提取器和RL调整模型都表现出对未见过的控制提示模板的强大泛化能力。

本文旨在解决长度控制生成的问题，提出了一种基于prompt的方法来实现不同控制类型下的长度控制生成。与现有的方法不同，本文采用了强化学习和样本过滤，通过基于规则的奖励模型来提高模型的长度控制能力。

本文提出了一种基于prompt的方法，通过强化学习和样本过滤来实现长度控制生成。该方法通过奖励模型来提高模型的长度控制能力，同时引入标准prompt提取器来将任意用户输入解析为标准控制指令。

本文的实验结果表明，该方法在多个控制类型下显著提高了基于prompt的长度控制的准确性。同时，标准prompt提取器和经过强化学习调整的模型都表现出对未见过的控制prompt模板的强大泛化能力。

最近的相关研究主要集中在基于prompt的生成技术上，如PPLM和CTRL。