Enhanced Short Text Modeling: Leveraging Large Language Models for Topic Refinement

本文探讨了如何针对推文和新闻标题等简短文本构建有效的主题模型，这对于捕捉社会动态的迅速变化非常重要。然而，传统的主题模型通常难以准确地表示短文本的语义复杂性，因为这些文本篇幅短小，缺乏上下文数据。在本研究中，我们利用大型语言模型（LLMs）的先进能力，引入了一种新方法，称为“主题细化”。这种方法并不直接参与主题的初始建模，而是专注于在主题被挖掘出来后改进它们。通过采用提示工程，我们指导LLMs消除给定主题中的离题词，确保仅保留或替换与语义更好地匹配的上下文相关单词。这种方法模拟了人类对主题的审查和改进，从而提高了各种模型生成的主题的语义质量。我们在三个独特数据集上的全面评估表明，我们的主题细化方法显著提高了主题的语义连贯性。

本论文旨在解决传统主题模型在处理短文本时无法准确表示语义复杂性的问题，提出了一种基于大型语言模型的主题细化方法，以提高主题的语义一致性。

本文提出的主题细化方法并非直接参与主题建模过程，而是通过引入prompt engineering，利用大型语言模型消除给定主题中的非相关词汇，从而提高主题的语义质量。

本文使用三个不同的数据集进行了全面的评估，证明了主题细化方法显著提高了主题的语义一致性。此外，本文的方法模拟了人类对主题的审查和改进，具有一定的启示意义。

相关研究包括传统主题模型和其他基于大型语言模型的主题建模方法，如GPT和BERT。