Assessing Political Bias in Large Language Models

在当今人工智能领域，对大型语言模型（LLMs）内偏见的评估已成为一个重要问题，特别是在考虑到它们对社会动态的潜在影响时，识别和考虑LLMs应用中的政治偏见是至关重要的。当接近实现预测性预测的临界点时，了解LLMs可能产生的潜在影响以及它们与人类操作者相互作用而产生的社会行为是至关重要的。因此，即将举行的欧洲议会选举将不会不受LLMs的影响。我们从德国选民的角度评估了目前最受欢迎的开源LLMs（指导或助手模型）在欧盟政治问题上的政治偏见。为此，我们使用了德国的选举建议应用程序“Wahl-O-Mat”。从“Wahl-O-Mat”的选举建议中，我们量化了LLMs与德国政党的一致程度。我们发现，像Llama3-70B这样的大型模型往往更倾向于与左倾政党保持更紧密的联系，而较小的模型通常保持中立，特别是在英文提示下。中心发现是，LLMs的偏见相似，其对于特定政党的一致性差异很小。我们的研究结果强调了严格评估和公开LLMs中的偏见的重要性，以维护应用程序的完整性和可信度，这些应用程序利用了预测性预测和机器学习预测和语言生成的不可见手。

评估大型语言模型中的政治偏见，以德国选民的视角评估当前最流行的开源语言模型与德国政党的政治立场的一致性

使用德国的投票建议应用程序“Wahl-O-Mat”量化LLM与德国政党的政治立场的一致性，发现大型模型倾向于与左翼政党更加一致，而较小的模型则通常保持中立。

论文强调了评估LLM中的偏见的重要性，以保障应用程序的完整性和可信度。实验使用了德国的投票建议应用程序“Wahl-O-Mat”作为数据来源。发现LLM的政治偏见相似，与特定政党的一致性方差较低。

最近的相关研究包括“Language Models are Few-Shot Learners”和“GPT-3: Language Models are Few-Shot Learners”。