Scope of Large Language Models for Mining Emerging Opinions in Online Health Discourse

本文提出了一种基于LLM的框架，用于在在线健康社区中策划和评估新兴意见挖掘。我们将新兴意见挖掘定义为Reddit来源的（标题，评论）对之间的成对立场检测问题，其中帖子标题包含有关未预定义主题的新兴健康相关声明。这些声明由用户明确或隐含地表达。我们详细说明了（i）声明识别的方法——识别帖子标题是否包含声明，以及（ii）使用LLM的立场检测驱动的意见挖掘评估框架。 我们通过发布一个新的测试数据集Long COVID-Stance或LC-stance来促进我们的探索，该数据集可用于评估LLM在在线健康社区中声明识别和立场检测任务上的表现。长期COVID是一种新兴的COVID后疾病，其治疗指南不确定且复杂，因此它是我们任务的合适用例。LC-Stance包含来自Reddit社区的长期COVID治疗相关话语。我们的评估表明，GPT-4在零样本立场检测方面明显优于以前的工作。然后，我们进行了彻底的LLM模型诊断，确定声明类型（即隐含声明与明确声明）和评论长度是模型误差的来源。

本文旨在开发一种基于LLM的框架，用于在在线健康社区中的新兴意见挖掘的策划和评估。文章将新兴意见挖掘定义为Reddit来源的（标题，评论）对之间的成对立场检测问题，其中帖子标题包含未预定义的有关主题的新兴健康声明。这些声明由用户明确或隐含地表达。作者详细介绍了（i）声明识别方法——即识别帖子标题是否包含声明的任务，以及（ii）基于意见挖掘的立场检测评估框架，使用LLMs。

本文提出了一种基于LLM的框架，用于在在线健康社区中的新兴意见挖掘的策划和评估。该框架包括声明识别和立场检测两个任务，并且使用了一种新的测试数据集LC-Stance。

本文提出了一种基于LLM的框架，用于在在线健康社区中的新兴意见挖掘的策划和评估。作者还发布了一个新的测试数据集LC-Stance，用于评估LLMs在在线健康社区中的声明识别和立场检测任务上的性能。实验结果表明，GPT-4在零样本立场检测方面明显优于之前的工作。作者还对LLM模型进行了详细的诊断，确定了声明类型和评论长度作为模型误差的来源。

最近在这个领域中，还有一些相关的研究，如：1. Mining Emerging Topics in Health Informatics: A Social Network Analysis Approach; 2. A Survey on Opinion Mining and Sentiment Analysis: Tasks, Approaches and Applications。