论文标题：

MABEL: Attenuating Gender Bias using Textual Entailment Data

收录会议：

EMNLP 2022

论文链接：

https://arxiv.org/abs/2210.14975

代码链接：

https://github.com/princeton-nlp/mabel

摘要：

预训练语言模型重塑了现代自然语言处理的格局。然而，作为对充满社会偏见（例如，性别、种族等领域）的大量语料库进行训练的意外副产品，这些强大的网络产生了附带不良社会关联的编码表征，不仅可以传播，还会在下游任务重加剧歧视性判断。在本次报告中，讲者将首先概述最近为实现更公平NLP所做的努力，包括减轻语言模型中的社会偏见和衡量这些系统的偏见能力。 接下来将讨论 MABEL（一种使用文本蕴含数据减轻性别偏差的方法），这是一种用于减轻情境化表示中的性别偏见的中间预训练方法。该方法的关键是对来自自然语言推理 (NLI) 数据集的反事实增强、性别平衡的蕴含对使用基于对比学习的目标。MABEL 在广泛的社会偏见指标中表现出良好的公平性能权衡，并在微调后保持任务性能。讲者将总结我们工作的一些局限性和伦理考虑，以及潜在的未来方向。

预训练过程中编码引进的社会偏差，会进一步在下游任务中放大。本文提出使用真专用标签的性别偏差减轻方法 MABEL，其关键技术：基于反事实增强的对比学习目标：具体为构造 NLI 数据集中的性别平衡蕴含对，通过蕴含对的监督对比学习方式，能够学习更均匀的表征空间（即最好是各向同性），这就使得句子之间的相似性度量更好地去对应语义的相似性（言外之意，不受性别偏差的影响）。对齐正则化：作用是使不同性别方向的蕴含对拉近他们的一致性，来更好地学习更加公平的语义空间。实验通过内在和外部指标来评测模型表现，验证了 MAEBL 作为模型无关的方法，能够在下游任务的微调之后仍然保持很好的表现；使用 NLI 数据的蕴含对非常适合减轻偏差。

智源社区特邀陈丹琦组研究员何雨盈，分享使用文本蕴含数据减轻性别偏差。

何雨盈，Meta软件工程师，2022年毕业于从普林斯顿大学，获得计算机科学学士学位，辅修统计/机器学习和金融。此前在普林斯顿陈丹琦教授小组进行研究。

活动地址 https://event.baai.ac.cn/activities/643

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除