Compile by Training: Turning Natural-Language Specifications into Local Neural Functions

许多反复出现的文本处理功能虽然易于用自然语言描述，却难以通过规则实现；而对每个输入都调用一个大型远程模型，则会带来重复的成本开销、显著的延迟以及对服务提供商的依赖。为此，我们提出“训练式编译”（compile by training）方法：该方法将自然语言描述的任务规范直接转化为可复用的神经函数。在编译阶段，由教师模型（teacher models）生成面向特定任务的示例数据，用于训练一个轻量级适配器（small adapter），该适配器嵌入在一个紧凑型解释器（compact interpreter）中。最终生成的神经函数完全脱离教师模型独立运行，且可像普通软件一样被持久化存储、版本化管理，并支持组合调用。在FuzzyBench-Hard基准测试集（即Program-as-Weights快速编译器未能生成任何精确匹配结果的子集）上，“训练式编译”的语义准确率达到83.6%。不过，这一更高准确率是以更高的编译开销为代价的：其编译耗时约为一分钟，而快速编译器仅需数秒。我们已将该编译器部署至一个公开的交互式服务平台，并在多个实际应用场景中展示了所编译函数的能力，包括：跨多站点运行的网页辅助工具、语音/文本指令驱动的三维虚拟形象（3D avatar），以及英—克劳迪什语（English–Claudish）双向翻译器。

如何高效地将自然语言描述的文本处理任务（如格式转换、模糊匹配等）编译为轻量、可部署、可组合的神经函数，避免每次调用大模型带来的高延迟、高成本和供应商依赖——这是一个在‘程序即服务’与‘小型化AI编译’交叉领域的新颖且实用问题。

提出‘compile by training’范式：不直接生成代码或权重，而是利用大模型（teacher）自动生成高质量、任务定制的监督数据，用于训练一个轻量级适配器（adapter）绑定到紧凑解释器上；该适配器即为最终可独立运行、可版本化、可组合的‘神经函数’，彻底脱离teacher模型运行。

在FuzzyBench-Hard（现有Program-as-Weights编译器零精确匹配的困难子集）上实现83.6%语义准确率；编译耗时约1分钟（权衡精度与开销）；已在公开交互服务中部署，并成功应用于三类真实场景（多站网页助手、语言驱动3D虚拟人、英-克劳迪什双向翻译）；未提及其代码是否开源，但强调函数可存储/版本化/组合，体现强工程落地导向；值得深入的方向包括：跨任务适配器复用、零样本编译加速、语义准确率的可验证性保障。

Program-as-Weights: Neural Program Synthesis with Large Language Models (ICLR 2024); Neurosymbolic Programming with Large Language Models (NeurIPS 2023); Compiling Natural Language to Code via Self-Improving Data Generation (ACL 2023); TinyBERT: Distilling BERT for Natural Language Understanding (EMNLP 2020)