论文题目：

On Robustness and Bias Analysis of BERT-based Relation Extraction. (DiagnoseRE：关系抽取泛化性能分析)

论文作者：

李泺秋，陈想，叶宏彬，毕祯，邓淑敏，张宁豫，陈华

论文链接：

https://arxiv.org/abs/2009.06206

论文简介：经过微调的预训练模型（BERT）在标准自然语言处理基准上取得了令人印象深刻的性能。但是，结果模型的泛化性仍然存在知之甚少。在这项研究中，我们从不同角度分析了微调的BERT在关系抽取领域的泛化能力。通过经验实验，我们发现BERT在鲁棒性和偏见方面遭遇瓶颈，这突出了未来的改进空间。同时，本文提出的一些方法可以用在其他不同的任务中，作为模型性能评估的指标或者数据增强的方法。本篇论文获全国知识图谱与语义计算大会CCKS 2021 Best Paper Award。 

在本研究中，我们使用 RE 作为研究案例，并根据稳健性和偏差来诊断其泛化能力。具体来说，我们回答了关于BERT模型的五个关键问题：

Q1：BERT是否基于某些关键词进行模版匹配作为决策依据？

Q2：就 RE 而言，BERT 在对抗样本上的表现如何？

Q3：BERT 能否推广到对比集，而反事实增强有帮助吗？

Q4：BERT 能否学习简单的统计线索，而受到训练样本中词频分布的影响？

Q5：预训练的 LM 中的语义偏差是否会影响 RE 泛化？

内容中包含的图片若涉及版权问题，请及时与我们联系删除