Paraphrase and Aggregate with Large Language Models for Minimizing Intent Classification Errors

大型语言模型（LLM）在自然语言生成方面取得了显著的成功，但对它们在分类等决策任务中的适用性关注较少。我们展示了像LLaMa这样的LLM可以在大型多类别分类任务中实现高性能，但仍会出现分类错误，更糟糕的是，生成了超出词汇表的类别标签。为了解决这些关键问题，我们引入了Paraphrase and AGgregate（PAG）-LLM方法，其中LLM生成输入查询的多个释义（并行查询），为原始查询和每个释义执行多类别分类，最后根据它们的置信度得分聚合所有分类标签。我们在两个大型多类别分类数据集CLINC和Banking上评估了PAG-LLM，并展示了22.7％和15.1％的错误减少。我们展示了PAG-LLM在LLM不确定的困难案例中特别有效，并减少了关键的错误分类和虚构标签生成错误。

论文旨在解决大型语言模型在多类别分类任务中出现的错误和生成词汇表之外的类别标签的问题。

提出了一种PAG-LLM方法，通过生成输入查询的多个释义（并行查询）来解决错误分类和生成虚构标签的问题，并根据置信度分数聚合所有分类标签。

论文在CLINC和银行两个大型多类别分类数据集上评估了PAG-LLM方法，显示出22.7％和15.1％的误差降低。该方法特别适用于难例，可以减少LLM不确定性导致的关键错误分类和虚构标签生成错误。

最近的相关研究包括：《Large Scale Multi-Label Text Classification with Deep Learning》、《A Survey on Deep Learning for Multilabel Text Classification》等。