An Approach to Build Zero-Shot Slot-Filling System for Industry-Grade Conversational Assistants

我们提出了一种基于大型语言模型（LLM）的槽填充系统的方法，用于在跨越各种行业级应用的对话助手中执行对话状态跟踪。该系统的关键要求包括：1）使用较小的模型以满足低延迟要求，并实现方便和经济的云和客户端部署；2）零-shot能力，以服务于各种领域、槽类型和对话场景。我们采用微调方法，其中预训练的LLM通过使用任务特定数据微调为槽填充模型。微调数据被精心准备，以涵盖模型预计在各个领域面临的各种槽填充任务场景。我们详细介绍了数据准备和模型构建过程。我们还详细分析了实验评估结果。结果表明，我们规定的槽填充模型构建方法相对于最佳基线的F1指标提高了6.9%，同时将延迟降低了57%。此外，我们准备的数据帮助平均提高了4.2%的各种槽类型的F1。

本论文旨在解决在各种行业级应用程序中提供对话状态跟踪的问题，其要求使用较小的模型满足低延迟需求，并具有零-shot能力，以跨越各种领域、槽类型和对话情景。

本论文采用微调方法，使用特定任务数据将预训练的LLM微调为槽填充模型，以覆盖各种对话情景，同时保持较低的延迟和较高的F1值。

论文详细介绍了数据准备和模型构建过程，并进行了实验评估。结果表明，相对于最佳基线，本论文提出的方法在实际基准测试中将F1度量相对提高了6.9％，同时将延迟降低了57％。此外，所准备的数据还帮助提高了各种槽类型的平均F1值。

最近在这个领域中，还有一些相关研究，如《Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling》和《A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks》。