Measuring Political Bias in Large Language Models: What Is Said and How It Is Said

我们建议通过分析LLMs生成的有关政治问题的内容和风格来衡量其政治偏见。现有的基准和度量方法关注的是性别和种族偏见。然而，LLMs中存在政治偏见，可能导致下游应用中的极化和其他危害。为了向用户提供透明度，我们主张应该有细粒度和可解释的LLMs生成的政治偏见度量。我们提出的度量方法考虑了不同的政治问题，如生殖权和气候变化，同时考虑了偏见的内容（生成的实质内容）和风格（词汇极性）。我们测量了11个开源LLMs中的政治偏见，并表明我们提出的框架很容易扩展到其他主题，并且是可解释的。

该论文旨在通过分析LLMs生成内容的内容和风格，来衡量其对政治问题的偏见。现有的基准和度量方法侧重于性别和种族偏见，但政治偏见也存在于LLMs中，并可能导致下游应用中的极化和其他伤害。作者主张，为了向用户提供透明度，应该有精细和可解释的LLMs生成的政治偏见度量。

作者提出了一种通过分析LLMs生成的内容和风格，来衡量其对政治问题的偏见的框架。该框架包括对不同政治问题（如生殖权和气候变化）的内容和风格（词汇极性）进行分析。

作者使用11个开源LLMs进行了实验，并展示了他们提出的框架的可扩展性和可解释性。值得关注的是，作者的框架可以很容易地扩展到其他主题，并且可以解释其结果。

最近的相关研究包括“基于预训练模型的偏见和公平性评估”（Assessing Bias and Fairness in Pre-trained Models）和“对话系统中的偏见检测和修复”（Bias Detection and Mitigation in Dialogue Systems）等。