Quantifying Generative Media Bias with a Corpus of Real-world and Generated News Articles

大型语言模型（LLMs）越来越被广泛应用于各种任务和领域，人们对其在新闻业中的应用越来越感兴趣。由于我们对LLM在这个领域的行为了解有限，特别是涉及政治偏见的问题，这种趋势引起了人们的担忧。现有的研究主要集中在LLMs进行政治问卷调查方面，这只能提供有限的洞见，无法深入了解它们的偏见和操作细节。为了弥补这一空白，我们的研究建立了一个新的策划数据集，其中包含2,100篇人工撰写的文章，并利用它们的描述生成了56,700篇合成文章，使用了九个LLMs。这使我们能够分析人类撰写和机器生成文章之间的特性差异，本研究重点关注政治偏见，并使用监督模型和LLMs来检测它。我们的研究结果显示，基础模型和经过指导调整的LLMs之间存在显著差异，经过指导调整的模型表现出一致的政治偏见。此外，我们还能够研究LLMs作为分类器的行为，观察它们在这个角色中表现出的政治偏见。总的来说，这项研究首次在新闻领域提出了一个框架，并提供了一个结构化的数据集，用于量化实验，为进一步研究LLM政治偏见及其影响奠定了基础。

本论文旨在研究大型语言模型（LLMs）在新闻领域中的政治偏见问题，通过建立一个新的数据集和使用9个LLMs生成合成文章来分析人工撰写文章和机器生成文章之间的差异。

论文使用新的数据集和LLMs生成的文章来研究LLMs在新闻领域中的政治偏见问题，并发现调整过的LLMs表现出一致的政治偏见，甚至在作为分类器的角色中也表现出政治偏见。

论文的亮点包括建立了一个新的数据集和使用LLMs生成文章来研究新闻领域中的政治偏见问题，发现调整过的LLMs表现出一致的政治偏见，甚至在作为分类器的角色中也表现出政治偏见。论文还提供了一个可量化实验的框架和结构化数据集，为进一步研究LLMs的政治偏见及其影响奠定了基础。

在这个领域中，最近的相关研究包括《大规模语言模型的社会影响》、《自然语言处理中的公平性问题》等。