Ask LLMs Directly, "What shapes your bias?": Measuring Social Bias in Large Language Models

社会偏见是由社会对不同人群身份的目标的认知积累形成的。要完全理解大型语言模型（LLM）中的这种社会偏见，必须考虑不同身份之间多样化视角的社会认知综合。以往的研究要么通过间接评估生成文本中对人口统计学身份的情感存在，要么通过测量与给定刻板印象的一致程度来评估LLM中的偏见。这些方法在直接量化不同身份之间的不同视角的社会偏见方面存在局限性。本文旨在研究各种视角的社会认知如何促进LLMs中社会偏见的发展。为此，我们提出了一种新的策略来直观地量化这些社会认知，并提出了可以通过聚合多样化的社会认知来评估LLMs内社会偏见的度量标准。实验结果通过检查社会认知量化地展示了LLMs中社会态度的数量化证明。我们进行的分析表明，我们提出的度量标准捕捉了社会偏见的多维方面，使得LLMs中的偏见得以进行细粒度和全面的调查。

本论文旨在研究大型语言模型（LLMs）中的社会偏见如何形成，并提出一种新的策略来直接量化不同身份群体的社会感知，以评估LLMs中的社会偏见。

论文提出了一种新的策略来直接量化不同身份群体的社会感知，并提出了可以聚合不同社会感知以评估LLMs中社会偏见的度量标准。

论文的实验结果展示了社会感知对LLMs中社会态度的定量证明，并表明所提出的度量标准捕捉了社会偏见的多维方面，使得对LLMs中的偏见进行了细致全面的研究。

在最近的相关研究中，有些论文探讨了LLMs中的社会偏见问题，但是这些研究要么通过间接评估生成文本中对身份群体的情感，要么通过评估与给定刻板印象的一致程度来评估偏见，而本论文提出了一种新颖的策略来直接量化不同身份群体的社会感知，并提出了一种新的度量标准来评估LLMs中的社会偏见。