Large Language Model Enhanced Clustering for News Event Detection

新闻格局不断变化，世界各地的信息量不断增加。在这个庞大的数据存储库中，自动事件检测对于监测、识别和分类不同平台上的重要新闻事件至关重要。本文提出了一种事件检测框架，利用大型语言模型（LLM）结合聚类分析从全球事件、语言和音调数据库（GDELT）中检测新闻事件。该框架通过预事件检测任务（关键词提取和文本嵌入）和后事件检测任务（事件摘要和主题标签）增强事件聚类。我们还评估了各种文本嵌入对聚类结果质量的影响，确保了健壮的新闻分类。此外，我们引入了一种新的聚类稳定性评估指数（CSAI）来评估聚类结果的有效性和健壮性。CSAI利用潜在特征向量提供了一种衡量聚类质量的新方法。我们的实验表明，将LLM嵌入与聚类算法相结合可以获得最佳结果，表现出更大的健壮性，CSAI得分更高。此外，后事件检测任务产生有意义的见解，有助于有效解释事件聚类结果。总的来说，我们的实验结果表明，所提出的框架提供了有价值的见解，并可以增强新闻报道的准确性和深度。

本论文旨在提出一种利用大型语言模型（LLMs）和聚类分析相结合的事件检测框架，以从全球事件、语言和语调数据库（GDELT）中检测新闻事件。

该框架通过预事件检测任务（关键词提取和文本嵌入）和后事件检测任务（事件摘要和主题标签）来增强事件聚类，并评估各种文本嵌入对聚类结果质量的影响，确保健壮的新闻分类。

该论文提出了一种新的聚类稳定性评估指数（CSAI），利用潜在特征向量提供了一种衡量聚类质量的新方法。实验结果表明，结合LLM嵌入和聚类算法可以产生最佳结果，并且后事件检测任务可以生成有意义的见解，从而有效地解释事件聚类结果。

近期相关研究包括：《A Survey of Event Detection Techniques in Twitter》、《Event Detection and Tracking in Social Streams》等。