Extracting Social Support and Social Isolation Information from Clinical Psychiatry Notes: Comparing a Rule-based NLP System and a Large Language Model

背景：社会支持（SS）和社会孤立（SI）是与精神疾病相关的健康社会决定因素（SDOH）。在电子健康记录（EHR）中，个体级别的SS/SI通常被记录为叙述性的临床笔记，而不是结构化编码数据。自然语言处理（NLP）算法可以自动化数据提取的繁琐过程。 数据和方法：来自Mount Sinai Health System（MSHS，n = 300）和Weill Cornell Medicine（WCM，n = 225）的精神科就诊笔记进行了注释，并建立了黄金标准语料库。使用FLAN-T5-XL的词汇表和大型语言模型（LLM）开发了基于规则的系统（RBS），以识别SS和SI的提及及其子类别（例如，社交网络、工具支持和孤独感）。 结果：对于提取SS/SI，RBS在MSHS（0.89 vs. 0.65）和WCM（0.85 vs. 0.82）均获得了更高的宏平均f分数。对于提取子类别，RBS在MSHS（0.90 vs. 0.62）和WCM（0.82 vs. 0.81）上也优于LLM。 讨论和结论：出人意料的是，RBS在所有指标上都优于LLM。密集审查表明，这一发现是由于RBS和LLM采取的不同方法。RBS被设计和改进以遵循与黄金标准注释相同的具体规则。相反，LLM在分类方面更具包容性，并符合通用的英语理解。这两种方法都具有优势，并可供未来测试使用的开源。

本论文旨在解决社交支持和社交孤立等社会决定因素对心理健康的影响问题，通过自然语言处理算法自动提取电子健康记录中的社交支持和社交孤立信息。

本论文提出了一种基于规则和大型语言模型相结合的方法来提取社交支持和社交孤立信息，其中规则系统的性能优于大型语言模型。

论文使用了两个医疗机构的精神科就诊记录进行实验，建立了一个黄金标准语料库。实验结果表明，规则系统在提取社交支持和社交孤立信息方面的性能优于大型语言模型。研究者提供了开源代码和数据集。

近期相关研究包括：1. "Using Natural Language Processing to Extract Social Support and Risk of Social Isolation from Electronic Health Records"; 2. "Natural Language Processing for Social Determinants of Health Extraction from Cancer Pathology Reports"。