FPT: Feature Prompt Tuning for Few-shot Readability Assessment

提示式方法已经在大多数小样本文本分类任务中取得了有希望的结果。然而，在可读性评估任务中，传统的提示方法缺乏关键的语言知识，这已经被证明是必不可少的。此外，以前利用语言特征的研究表明，在小样本设置中表现不稳健，甚至可能损害模型性能。为了解决这些问题，我们提出了一种新的提示调整框架，该框架融合了丰富的语言知识，称为特征提示调整（FPT）。具体而言，我们从文本中提取语言特征，并将它们嵌入可训练的软提示中。此外，我们设计了一种新的损失函数，以校准类别之间的相似性排名顺序。实验结果表明，我们提出的方法 FPT 不仅在先前最佳的基于提示的调整方法中表现出显着的性能提高，而且超过了之前采用语言特征的领先方法。此外，我们提出的模型在大多数情况下明显优于大型语言模型 gpt-3.5-turbo-16k。我们提出的方法建立了一种新的提示调整体系结构，为如何将语言特征轻松适应语言相关任务提供了启示。

本论文旨在解决传统的prompt方法在可读性评估任务中缺乏语言知识的问题，并提出一种新的特征prompt调整框架（FPT）。

FPT框架通过将语言特征提取并嵌入可训练的软prompt中，结合新的损失函数来调整类别之间的相似度排序，从而在少样本情况下提高了模型性能。

实验结果表明，FPT方法不仅在prompt调整方面表现出色，而且在语言特征整合方面也超越了之前的方法。此外，该模型在大多数情况下甚至超过了大型语言模型gpt-3.5-turbo-16k。这一方法为prompt调整提供了新的思路，并为语言相关任务的语言特征整合提供了简单易行的方法。

在最近的相关研究中，有一些关于使用语言特征进行少样本文本分类任务的研究，如Meta-Learning with Latent Embedding Optimization（MELLO）和Few-shot Text Classification with Distributional Signatures（DISTRIB）。