Can GPT-4 Help Detect Quit Vaping Intentions? An Exploration of Automatic Data Annotation Approach

近年来，美国见证了电子烟或电子香烟使用的显著增长，导致在2019年EVALI爆发期间出现了明显的电子烟和电子香烟使用相关的肺部损伤（EVALI），导致住院和死亡案例的增加，凸显了理解电子烟行为和制定有效戒烟策略的紧迫性。由于社交媒体平台的普及性，全球超过47亿用户使用它们进行连接、通讯、新闻和娱乐，其中相当一部分与健康有关的话题，因此建立社交媒体数据作为公共卫生研究的宝贵有机数据资源。在本研究中，我们从Reddit上的一个电子烟子社区中提取了一个样本数据集，以分析用户戒烟意向。利用OpenAI的最新大型语言模型GPT-4进行句子级戒烟意向检测，本研究将该模型的结果与外行人和临床专家的注释进行了比较。使用不同的提示策略，例如零-shot、一-shot、few-shot和chain-of-thought提示，我们开发了8个提示，具有不同的详细程度，以向GPT-4解释任务，并评估了这些策略之间的性能。这些初步结果强调了GPT-4在社交媒体数据分析中的潜力，特别是在识别用户微妙意图方面，这可能会逃避人类的检测。

本论文旨在分析Reddit上一个vaping子社区的用户戒烟意向，通过使用OpenAI的最新大型语言模型GPT-4进行句子级戒烟意向检测，比较其结果与普通人和临床专家的注释结果，以及评估不同提示策略的性能表现。研究试图解决戒烟的实际问题，即如何更好地理解vaping行为并制定有效的戒烟策略。

本论文的关键思路是利用GPT-4进行句子级戒烟意向检测，比较其结果与人类注释结果，并评估不同提示策略的性能表现。这一思路相比当前的研究状况有创新性。

论文使用了Reddit上的一个vaping子社区的数据集，通过不同的提示策略，开发了8个具有不同细节级别的提示，并评估了它们的性能表现。实验结果表明，GPT-4在社交媒体数据分析中具有潜力，尤其是在识别用户微妙意图方面。值得注意的是，该论文没有提供开源代码。

近年来，随着vaping的流行，相关研究也逐渐增多。例如，2020年的一篇名为“E-cigarette or Vaping Product Use-Associated Lung Injury (EVALI): A Review”的综述文章对EVALI进行了全面的回顾。另外，还有一些研究使用社交媒体数据来分析vaping行为和态度，如2019年的一篇名为“Vaping on Instagram: cloud chasing, hand checks and product placement”的研究。