标题：清华大学|Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification（知识渊博的提示调整：基于知识融入提示词的文本分类）

推荐理由：将知识融入预训练模型提示词

简介：调整预训练语言模型(PLM)具有特定任务提示的文本分类方法是一种很有前途的方法。特别是，先前的研究表明，在低数据场景中，提示调整比通用微调具有显着优势带有额外分类器的方法。核心理念提示调整的目的是插入文本片段，即模板，输入并将分类问题转换为掩码语言建模问题，其中关键步骤是在一个标签空间和一个标签词空间。一种言语工具通常是手工制作或搜索的通过梯度下降，这可能缺乏覆盖范围并给结果带来相当大的偏差和高方差。在这项工作中，我们专注于将外部知识融入言语者，形成知识渊博的提示调整（KPT），以改善和稳定提示调整。具体来说，我们展开标签词使用外部知识库 (KB) 分析语言表达器的空间，并在使用扩展的标签词空间进行预测之前，使用 PLM 本身细化扩展的标签词空间。零样本和小样本的广泛实验文本分类任务证明了知识渊博的提示调整的有效性。

论文地址：https://arxiv.org/pdf/2108.02035.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除