Syntactic and Semantic Control of Large Language Models via Sequential Monte Carlo

大量语言模型（LM）应用需要生成符合句法或语义约束的文本。施加这些约束可以自然地被表述为概率条件化问题，但精确地从由此产生的分布中生成文本通常是不可行的，因为该分布可能与语言模型的基础分布有很大差异。在本文中，我们基于序贯蒙特卡洛（SMC）方法开发了一种用于受控语言模型生成的架构。我们的SMC框架能够在推理时灵活地融入领域和问题特定的约束，并在生成过程中根据新信息高效地重新分配计算资源。通过在四个具有挑战性的领域（数据科学的Python代码生成、文本到SQL转换、目标推断和分子合成）上与多种替代方法和消融实验进行比较，我们展示了我们的方法在几乎没有额外开销的情况下，使小型开源语言模型能够超越规模大8倍以上的模型，甚至优于闭源的微调模型。为了支持概率视角，我们证明这些性能提升源于对后验分布的更好近似。我们的系统基于Lew等人（2023）提出的框架，并与其语言模型的概率编程语言集成，为用户提供了一种简单且可编程的方式来将SMC应用于广泛的受控生成问题。

论文试图解决如何在语言模型生成过程中灵活地施加语法或语义约束的问题。这是一个长期存在的问题，但本文特别关注在不改变模型参数的情况下，通过概率条件化实现高效且高质量的受控文本生成。

论文提出了一种基于顺序蒙特卡洛（SMC）的方法，用于在推理时灵活地结合领域和问题特定的约束条件。该方法允许动态重新分配计算资源，并能逼近目标分布，从而显著提高生成质量。相比现有方法，这种方法无需对模型进行微调，即可实现实时控制生成过程。

论文在四个具有挑战性的任务上进行了实验：Python代码生成、文本到SQL转换、目标推断以及分子合成。结果显示，使用SMC的小型开源语言模型可以超越8倍大的模型甚至闭源微调模型。此外，作者还展示了性能提升来源于对后验分布的更好近似。论文基于Lew等人的框架开发，并集成了一个概率编程语言，使得SMC的应用更加简单和可编程。代码已开源，为后续研究提供了便利。

相关工作包括其他关于受控文本生成的研究，例如通过重排序或采样调整的语言模型控制方法（如Holtzman et al., 2019; Dathathri et al., 2020），以及利用强化学习或优化技术来满足约束的研究（如Guimaraes et al., 2017）。此外，与概率编程相关的研究（如Lew et al., 2023）也为此方法提供了理论支持。其他类似方向的工作还包括Vaezi et al. (2021) 提出的基于能量函数的生成控制方法。