DSPy Assertions: Computational Constraints for Self-Refining Language Model Pipelines

将语言模型（LM）调用作为可组合模块的链接正在推动一种新的强大的编程方式。然而，确保LM遵守重要约束条件仍然是一个关键挑战，通常使用启发式的“提示工程”来解决。我们介绍了LM Assertions，这是一种新的编程结构，用于表达LM应满足的计算约束。我们将我们的结构集成到最近的DSPy LM编程模型中，并提出了新的策略，使DSPy能够将具有任意LM Assertions的程序编译成更可靠和更准确的系统。在DSPy中，LM Assertions可以在编译时通过自动提示优化和/或推理时通过自动自我细化和回溯集成。我们报告了两个早期的复杂问答（QA）案例研究，其中LM程序必须迭代地检索多个跳跃中的信息，并综合带有引用的长形式答案。我们发现，LM Assertions不仅提高了对强制规则和指南的遵守，而且还增强了下游任务性能，分别提供了35.7％和13.3％的内在和外在收益。我们对LM Assertions的参考实现已集成到https://github.com/stanfordnlp/dspy的DSPy中。

论文旨在解决如何确保语言模型满足重要约束的问题，以提高模型的可靠性和准确性。

论文提出了LM Assertions这一新的编程构造，用于表达语言模型应满足的计算约束，并将其集成到DSPy编程模型中。DSPy可以在编译时和推理时自动执行LM Assertions，从而提高模型的可靠性和准确性。

论文进行了两个复杂问答（QA）的案例研究，发现LM Assertions不仅提高了模型的规则遵循性，还提高了下游任务的性能，分别提高了35.7%和13.3%。LM Assertions的参考实现已经集成到DSPy中，并在https://github.com/stanfordnlp/dspy开源。

在近期的研究中，还有一些与本文相关的研究，如《Improving Language Understanding by Generative Pre-Training》和《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》。