Adaptable Logical Control for Large Language Models

尽管大型语言模型（LLMs）在遵循人类指令的各种任务上取得了成功，但在推理时控制模型生成仍然是一个持久的挑战。在本文中，我们介绍了Ctrl-G，这是一个可适应的框架，有助于可靠地遵循逻辑约束，从而便于对LLM生成进行可行和灵活的控制。Ctrl-G将任何生产就绪的LLM与隐马尔可夫模型相结合，使LLM输出遵循表示为确定性有限自动机的逻辑约束。我们展示了当Ctrl-G应用于TULU2-7B模型时，其在交互式文本编辑任务上优于GPT3.5和GPT4。具体而言，对于在逻辑约束下生成文本插入/续写的任务，Ctrl-G在人类评估中实现了超过30％的更高满意度比率，相比之下，GPT4则不及。当应用于中等规模的语言模型（例如GPT2-large）时，Ctrl-G还在标准基准测试中大幅领先于其对手，用于受限制的生成。此外，作为一个概念验证研究，我们在小学数学基准测试中实验了Ctrl-G以协助LLM推理，预示着Ctrl-G以及其他受限制的生成方法将超越传统的语言生成任务。

论文旨在解决在生成过程中控制模型遵循逻辑约束这一持久性难题，提出了一种可适应的框架Ctrl-G，以实现可靠地遵循逻辑约束的LLM生成。

Ctrl-G将任何可生产的LLM与隐马尔科夫模型结合，使LLM输出遵循表示为确定性有限状态自动机的逻辑约束。在交互式文本编辑和中等规模语言模型上的实验表明，Ctrl-G在受限生成方面的性能优于GPT3.5和GPT4，并且在标准基准测试中，Ctrl-G击败了其对手。

论文提出的Ctrl-G框架在生成过程中实现了可靠的逻辑约束控制，实验结果表明其在交互式文本编辑和中等规模语言模型上的性能优于当前主流模型。论文还在Grade School Math基准测试上进行了初步实验，预示着Ctrl-G等受限生成方法在传统语言生成任务之外的应用前景。

最近的相关研究包括使用自动机约束生成的方法，如Welleck等人的研究，以及在语言生成方面的其他控制方法，如基于模板的方法和基于规则的方法。