Seeds of Stereotypes: A Large-Scale Textual Analysis of Race and Gender Associations with Diseases in Online Sources

背景：大型语言模型（LLM）的进步在医疗保健方面具有变革性潜力，但最近的研究引起了人们对这些模型产生显示种族或性别偏见输出的担忧。虽然训练数据很可能是这种偏见的来源，但是在规模上探索文本数据中的疾病和人口统计学关联性的研究还很有限。 方法：我们使用包括Arxiv、Wikipedia和Common Crawl在内的多样化网络来源数据集进行了大规模文本分析。本研究分析了在讨论各种疾病时人口统计学标记的上下文环境。鉴于LLM是在类似数据集上进行预训练的，这种方法允许我们检查LLM可能学习和内化的偏见。我们将这些发现与实际人口疾病患病率以及GPT-4的输出进行比较，以评估偏见表现的程度。 结果：我们的研究结果表明，人口统计学术语在在线文本中与特定疾病概念的关联是不成比例的。性别术语与疾病概念密切相关，而种族术语则很少与之相关。我们发现，在分析的18种疾病中，特定种族和性别术语的关联存在广泛的差异。最突出的是，我们发现总体上黑人种族的提及比例明显高于人口比例。 结论：我们的研究结果强调了对LLM预训练数据偏见进行批判性审查和透明报告的必要性。我们的研究表明，有必要开发缓解策略来抵消LLM中偏见训练数据的影响，特别是在敏感领域，如医疗保健。

探索大型语言模型（LLMs）在医疗保健中的潜在应用，以及如何解决LLMs产生种族或性别偏见的问题。

通过对多个数据集进行大规模文本分析，研究不同疾病与种族和性别的相关性，并评估LLMs中的偏见表示程度。结果表明，在在线文本中，种族和性别术语与特定疾病概念的相关性存在普遍的不平等性。研究结果强调了需要对LLMs的预训练数据集进行批判性审查和透明报告的必要性，以及开发缓解偏见训练数据在LLMs中的影响的策略。

使用了多个数据集进行大规模文本分析，评估LLMs中的偏见表示程度；发现种族和性别术语与特定疾病概念的相关性存在普遍的不平等性；强调了需要对LLMs的预训练数据集进行批判性审查和透明报告的必要性，以及开发缓解偏见训练数据在LLMs中的影响的策略。

最近的相关研究包括：1.《Language (Technology) is Power: A Critical Survey of “Bias” in NLP》；2.《Measuring and Mitigating Unintended Bias in Text Classification》；3.《Examining Gender and Race Bias in Two Hundred Sentiment Analysis Systems》。