Navigating the Ocean of Biases: Political Bias Attribution in Language Models via Causal Structures

David F. Jenny ,
Yann Billeter ,
Mrinmaya Sachan ,
Bernhard Schölkopf ,
Zhijing Jin
2023年11月15日
  • 简介
    大型语言模型(LLMs)的快速发展引发了有关它们感知和解释复杂社会政治环境能力的激烈辩论。在本研究中,我们对决策过程和LLMs内在偏见进行了探究,以ChatGPT为例,特别是将我们的分析情境化到政治辩论中。我们的目标不是批评或验证LLMs的价值观,而是确定它们如何解释和裁决“好的论点”。通过应用活动依赖网络(ADNs),我们提取LLMs对这些评估的隐含标准,并说明规范价值如何影响这些感知。我们讨论了我们的发现对人工智能和偏见缓解的影响。我们的代码和数据可在https://github.com/david-jenny/LLM-Political-Study找到。
  • 图表
  • 解决问题
    该论文旨在探讨大型语言模型(LLMs)在政治辩论中的决策过程和固有偏见,特别是以ChatGPT为例,提取LLMs的隐含标准,并说明规范价值如何影响这些感知。作者旨在讨论这些发现对人工智能与人类之间的协调和偏见缓解的影响。
  • 关键思路
    通过应用Activity Dependency Networks(ADNs),作者提取LLMs对“好的论点”的隐含标准,揭示了规范价值如何影响这些感知。这种方法可以帮助我们理解LLMs的决策过程和固有偏见,并为人工智能与人类之间的协调提供指导。
  • 其它亮点
    论文使用了Activity Dependency Networks(ADNs)来揭示LLMs的隐含标准,并探讨了规范价值对这些标准的影响。作者还讨论了这些发现对人工智能与人类之间的协调和偏见缓解的影响。作者提供了代码和数据集,可以在GitHub上获取。论文的实验设计详细,使用了ChatGPT和政治辩论数据集。
  • 相关研究
    最近在这个领域中,还有一些相关的研究。例如,Garg等人在“BERT is Not a Knowledge Base (Yet): Factual Knowledge vs. Name-Based Reasoning in Unsupervised QA”中探讨了BERT的局限性。另外,Hendrycks等人在“Measuring Massive Multitask Language Understanding”中使用了多任务学习来提高语言模型的性能。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论