Text clustering with LLM embeddings

文本聚类是组织不断增长的数字内容、帮助结构化和发现未分类数据中隐藏模式的重要方法。在本研究中，我们调查了不同文本嵌入-特别是在大型语言模型（LLMs）中使用的那些-以及聚类算法如何影响文本数据集的聚类。进行了一系列实验，以评估嵌入如何影响聚类结果，摘要通过降维的作用，以及嵌入大小的调整。结果表明，LLM嵌入在捕捉结构化语言的细微差别方面表现出色，而BERT在性能方面领先于轻量级选项。此外，我们发现增加嵌入维度和摘要技术并不能统一提高聚类效率，这表明这些策略需要仔细分析才能在现实生活模型中使用。这些结果突显了在文本聚类应用中需要细致的文本表示和计算可行性之间的复杂平衡。该研究通过引入LLMs中的嵌入来扩展传统的文本聚类框架，从而为改进方法学和在各种类型的文本分析中开辟新的研究途径铺平了道路。

本论文旨在研究不同文本嵌入和聚类算法对文本数据集聚类的影响，探讨如何更好地组织和发现未分类数据中的隐藏模式。

论文通过使用大型语言模型（LLMs）中的文本嵌入，扩展了传统的文本聚类框架，以提高聚类效率和准确性。实验发现，LLMs的嵌入能够捕捉到结构化语言的细微差别，而BERT在轻量级选项中表现最佳。

本研究的亮点在于使用了大型语言模型中的文本嵌入，并探讨了嵌入维度和摘要技术对聚类效率的影响。实验结果表明，LLMs的嵌入能够提高聚类效率和准确性，而维度和摘要技术的使用需要谨慎分析。此外，本论文还开辟了未来在各种类型的文本分析中使用LLMs嵌入的新途径。

在相关研究中，最近的一些研究包括《Unsupervised Text Clustering using Embeddings》和《A Survey of Text Clustering Techniques》。