Inclusivity in Large Language Models: Personality Traits and Gender Bias in Scientific Abstracts

大型语言模型（LLMs）越来越被用于协助科学和学术写作，帮助作者提高文章的连贯性。先前的研究已经强调了LLM输出中存在的刻板印象和偏见，强调了评估这些模型与人类叙述风格和潜在性别偏见的一致性的必要性。在本研究中，我们通过分析三个著名的LLM - Claude 3 Opus、Mistral AI Large和Gemini 1.5 Flash在科学摘要基准文本生成任务上的表现来评估它们的一致性。我们采用语言查询和单词计数（LIWC）框架从生成的文本中提取词汇、心理和社会特征。我们的研究结果表明，虽然这些模型通常产生与人类撰写的内容非常相似的文本，但风格特征的变化表明存在显著的性别偏见。这项研究强调了开发维护多样化写作风格的LLMs以促进学术话语的包容性的重要性。

这篇论文旨在评估三个知名的大型语言模型在科学论文摘要文本生成任务中的表现，特别关注它们是否存在性别偏见。

使用Linguistic Inquiry and Word Count (LIWC)框架从生成的文本中提取词汇、心理和社会特征，研究发现这些模型生成的文本与人类撰写的内容相似，但在风格特征上存在显著的性别偏见。

实验结果表明，这些模型生成的文本与人类撰写的内容相似，但在风格特征上存在显著的性别偏见。这项研究强调了开发保持多样化写作风格的LLMs以促进学术话语的包容性的重要性。

最近的相关研究主要关注LLMs的性别偏见问题，例如：《GPT-2产生的文本中的性别偏见》、《AI的性别偏见：对话系统的评估》等。