Guiding Large Language Models to Generate Computer-Parsable Content

我们提出了一种方法，可以引导大型语言模型（LLMs）生成符合特定约定的结构化内容，而无需进行微调。通过使用基于协程的内容生成约束，通过预先约定的无上下文语法（CFG），在解码过程中指导LLMs生成符合正式语言的输出。这增强了生成目标数据结构、类型或指令的稳定性和一致性，减少了应用程序开发的复杂性。实验结果表明，对于DSL长度超过36个和282个令牌的情况，GPT-2和Gemma的错误率均超过95％。我们引入了YieldLang，这是一个基于协程的DSL生成框架，并使用LLMs在各种任务中进行了评估，包括JSON和Mermaid流程图的生成。与基准相比，我们的方法提高了1.09到11.6倍的准确性，LLMs只需要约16.5％的样本即可有效生成JSON。这增强了LLM生成内容在计算机程序中的可用性。

论文旨在提出一种方法，通过协程约束生成的内容，使大型语言模型（LLMs）在不进行微调的情况下生成符合特定约定的结构化内容。这种方法可以提高生成目标数据结构、类型或指令的稳定性和一致性，减少应用程序开发的复杂性。

通过使用预先约定的无上下文语法（CFG），在解码过程中引导LLMs生成符合正式语言规范的输出。这种方法可以提高LLMs在各种任务中的准确性，包括JSON和Mermaid流程图生成。

论文提出了一个基于协程的DSL生成框架YieldLang，并使用LLMs在各种任务中进行了评估，包括JSON和Mermaid流程图生成。与基准相比，这种方法可以将准确性提高1.09到11.6倍，而LLMs仅需要约16.5%的样本即可有效生成JSON。

最近在这个领域中，还有一些相关的研究，如《GPT-2》和《Gemma》。