Prompt在中文分类few-shot场景中的尝试

在传统的用于 NLP 任务的监督学习系统中，输入 x 通常是文本数据，并基于模型  预测输出 y。但是，监督学习面临的一个主要问题是，即为了训练模型 P  ，必须要有用于训练任务的监督数据，但找到这种适用数据是比较困难的。

2017年～2019年期间，NLP研究重点集中于预训练语言模型。一个具有固定架构的模型通过预训练作为语言模型（LM），用来预测观测到的文本数据的概率。由于训练 LM 所需的原始文本数据需要足够丰富，因此，这些 LM 都是在比较大的数据集上训练完成。之后，通过引入额外的参数，并使用特定任务的目标函数对模型进行微调，将预训练 LM 适应于不同的下游任务。在这种范式下，研究重点转向了目标工程，设计在预训练和微调阶段使用的训练目标（损失函数）。

基于 Prompt 的学习方法试图通过学习 LM 来规避这一问题，该 LM 对文本 x 本身的概率  进行建模并使用该概率来预测 y，从而减少或消除了训练模型对大型监督数据集的需求。

本文尝试了使用prompt进行文本分类，并开源了代码。

代码链接为：https://github.com/Christmas-Wong/paper_project/blob/main/hyperparam.ipynb