An Actionable Framework for Assessing Bias and Fairness in Large Language Model Use Cases

大型语言模型（LLMs）可能以各种方式表现出偏见。这种偏见可能会对受保护属性内的某些群体，包括但不限于性别、种族、性取向或年龄，造成或加剧不公平的结果。本文旨在为从业人员提供技术指南，以评估LLM使用案例中的偏见和公平风险。本文的主要贡献是决策框架，允许从业人员确定特定LLM使用案例要使用哪些度量标准。为实现这一目标，本研究将LLM偏见和公平风险进行分类，并将这些风险映射到LLM使用案例的分类法中，然后正式定义用于评估每种风险类型的各种度量标准。作为该工作的一部分，介绍了几种新的偏见和公平度量标准，包括创新的反事实度量标准以及基于刻板印象分类器的度量标准。该框架不仅关注模型本身，还考虑了提示风险和模型风险的敏感性，通过定义模型和提示人群的LLM使用案例级别的评估来实现。此外，由于所有评估度量标准仅使用LLM输出进行计算，因此所提出的框架对从业人员来说非常实用和易于操作。

评估和解决大型语言模型中的偏差和公平性风险

提出了一个决策框架，允许从特定的LLM用例中确定使用哪些度量标准，包括新的反事实度量标准和基于刻板印象分类器的度量标准。

论文提出了新的度量标准，包括反事实度量标准和基于刻板印象分类器的度量标准，这些度量标准可以用于评估LLM的偏差和公平性风险。提出的框架可操作性强，易于实践。实验设计了多个数据集和模型进行验证。

最近的相关研究包括《大规模语言模型的公平性评估》、《大规模预训练语言模型的公平性和隐私》等。