实体关系抽取是自然语言处理中一项非常重要的任务，受到了广泛的关注和研究。现有实体关系抽取方法，虽然在常见的评测数据集上取得了非常不错的效果，但是应用于实际复杂抽取任务时，其抽取性能大打折扣，无法令人满意。主流联合实体关系抽取方法，诸如NovelTagging[1]、CopyRE[2]、GraphRel[3]和CasRel[4]在常见的学术评测集WebNLG[5]和NYT[6]上都表现出不错的性能。其中SOTA抽取方法CasRel在WebNLG上甚至达到了91.8%的F1值，同时，在数据量更大的NYT上也能达到非常不错的89.6%的F1值。

然而这些看似十分出色的评估结果是否能够说明这些实体关系抽取方法能够出色地完成实际场景中的抽取任务呢？为了回答这一问题，我们基于CasRel方法，在学术评测集WebNLG和实际应用数据集DuIE上各采样了300条样本，进行抽取性能对比评估。当抽取数据从WebNLG切换到DuIE时，CasRel方法抽取结果的F1值从89.3%急剧下降到了62.8%，最主要的原因是实际应用中的数据往往存在着更多的复杂样本，而现有实体关系抽取模型并不能很好地解决。

进一步地，我们从百科实体对应的文本摘要中，采样500条样本统计得出结论，40.1%的三元组知识是包含在复杂的文本信息中的，并不能通过简单的模式识别抽取得到。因此，研究面向通用领域复杂样本的实体关系抽取方法需要受到更多的关注。但是关系抽取领域缺少面向复杂样本的评测数据集，现有数据集的样本过于简单规则，数据分布也存在一些Bias问题。关系抽取领域也缺少对复杂样本全面的分析研究，相关工作往往只是基于单一模型或单一数据集分析易出错样本。

目前该成果对应的论文和数据集发表在会议2021ACLFindings上。

论文链接参考：https://aclanthology.org/2021.findings-acl.249/

内容中包含的图片若涉及版权问题，请及时与我们联系删除