用大型语言模型实现少样本聚类

Large Language Models Enable Few-Shot Clustering

V Viswanathan, K Gashteovski, C Lawrence, T Wu, G Neubig
[CMU & NEC Laboratories Europe]

用大型语言模型实现少样本聚类

• 动机：虽然大型语言模型(LLM)在许多任务中表现出了显著的性能，但在半监督聚类任务中，这些模型通常需要大量的专家反馈才能改善聚类结果。本文的目标是探索是否可以利用LLM来放大专家的指导，从而实现少量查询的半监督文本聚类。

• 方法：提出了三种可以利用LLM进行聚类的方法：在聚类前、聚类中和聚类后。在聚类前，使用LLM生成关键词，然后将这些关键词的编码添加到基础表示中。在聚类中，使用LLM作为一种对聚类器提供约束的方法。在聚类后，使用LLM进行后校正，以改进低置信度的聚类分配。

• 优势：能有效地利用LLM进行半监督聚类，并且在各种任务中都显示出有效性。此外，该方法不需要大量的专家反馈，从而大大降低了成本。

提出一种利用大型语言模型进行半监督文本聚类的方法，在聚类前、聚类中和聚类后都利用了LLM，从而有效地改善了聚类结果，大大降低了专家反馈的需求。

https://arxiv.org/abs/2307.00524