Retrieval-style In-Context Learning for Few-shot Hierarchical Text Classification

本文介绍了一种基于大型语言模型（LLMs）的上下文学习（ICL）的框架，用于少样本的分层文本分类（HTC），而HTC是一个具有广泛应用的重要任务，而少样本的HTC近来越来越受到关注。虽然ICL在少样本学习方面取得了显着的成功，但由于分层标签集和极具歧义的标签，它对于HTC并不是很有效。我们利用检索数据库来识别相关的演示，并采用迭代策略来管理多层分层标签。特别地，我们为输入文本配备了HTC标签感知表示，这是通过对预训练语言模型进行持续训练，采用掩码语言建模（MLM），层次分类（CLS，特别针对HTC）和新颖的分歧对比学习（DCL，主要针对相邻的语义相似标签）目标实现的。在三个基准数据集上的实验结果表明，我们的方法具有优越的性能，并且可以在少样本的HTC中取得最先进的结果。

本文旨在解决层次文本分类中的few-shot问题，即如何在标签集较大、标签含义模糊的情况下，利用大型语言模型进行few-shot分类。

本文提出了一种基于in-context learning (ICL)的few-shot层次文本分类框架，利用检索数据库识别相关演示，并使用迭代策略管理多层次的标签。此外，通过在预训练语言模型上进行层间分类和新颖的发散对比学习（DCL）目标，为输入文本提供HTC标签感知表示。

本文通过实验在三个基准数据集上验证了该方法的优越性，并在few-shot HTC中取得了最先进的结果。此外，本文的方法也为解决其他few-shot分类问题提供了新思路。

与本文相关的研究包括：1. Few-shot learning方法在其他NLP任务中的应用，如命名实体识别。2. 利用检索数据库进行few-shot分类的其他工作，如Prototypical Networks。3. 大型语言模型在NLP任务中的应用，如BERT和GPT。