Uncovering Latent Arguments in Social Media Messaging by Employing LLMs-in-the-Loop Strategy

社交媒体的广泛使用导致了自动化公众舆论分析方法的流行。监督方法擅长文本分类，但社交媒体讨论的动态性使得这些技术面临不断变化的挑战。另一方面，传统的无监督方法，如主题建模，通常会揭示出总体模式，但可能无法捕捉特定的细微差别。因此，社交媒体话语研究的大部分仍依赖于耗时和昂贵的人工编码技术和人在环节方法。在这项工作中，我们研究了发现与特定主题相关的论点的问题。我们提出了一种通用的LLMs-in-the-Loop策略，利用大型语言模型（LLMs）的先进能力从社交媒体消息中提取潜在的论点。为了演示我们的方法，我们将我们的框架应用于具有争议性的话题。我们使用两个公开可用的数据集：（1）包含25个主题的14k个Facebook广告的气候运动数据集和（2）包含14个主题的9k个Facebook广告的COVID-19疫苗运动数据集。此外，我们还分析了基于真实世界事件的人口统计学定位和消息的适应性。

本文试图解决从社交媒体消息中发现特定主题相关论点的问题。传统的有监督和无监督方法都存在一定的局限性，而手动编码的方法又耗时费力。

本文提出了一种基于大型语言模型的LLMs-in-the-Loop策略，利用先进的语言模型从社交媒体消息中提取潜在的论点。

本文将提出的方法应用于两个公开数据集：包含25个主题的14k个Facebook广告的气候运动数据集和包含14个主题的9k个Facebook广告的COVID-19疫苗运动数据集。此外，还分析了基于真实事件的信息的人口统计学定向和调整。

相关研究包括传统的有监督和无监督方法，以及手动编码的方法。其中一些研究包括：《Social Media Mining: An Introduction》、《Topic Modeling of Twitter Hashtags for Company Reputation Analysis》和《A Survey of Opinion Mining and Sentiment Analysis》。