DAHRS: Divergence-Aware Hallucination-Remediated SRL Projection

2024年07月12日
  • 简介
    语义角色标注(SRL)可以为许多下游应用程序提供丰富的信息,例如机器翻译、问答、摘要和立场/信念检测。然而,由于缺乏多种语言的语义注释语料库,构建多语言SRL模型是具有挑战性的。此外,基于大型语言模型(LLM)的最先进的SRL投影(XSRL)产生的输出充满了虚假的角色标签,这些幻觉的纠正不是很简单,因为LLM缺乏可解释性。我们展示了幻觉的角色标签与干扰初始对齐的自然发生的分歧类型有关。我们实现了基于分歧感知的幻觉矫正SRL投影(DAHRS),利用语言学知识进行对齐矫正,然后采用贪心的先来先服务(FCFA)SRL投影。DAHRS在不需要额外的基于转换器的机器情况下提高了SRL投影的准确性,打败了XSRL,在人工和自动比较中都有所提高,并超越了头词,以适应短语级别的SRL投影(例如EN-FR,EN-ES)。使用CoNLL-2009作为我们的基本事实,我们在XSRL上实现了更高的单词级F1:87.6%vs.77.3%(EN-FR)和89.0%vs.82.7%(EN-ES)。人类短语级别的评估结果为89.1%(EN-FR)和91.0%(EN-ES)。我们还定义了一个分歧度量标准,以适应其他语言对(例如英语-塔加洛语)。
  • 图表
  • 解决问题
    如何解决跨语言语义角色标注中存在的假标注问题?
  • 关键思路
    提出了一种基于语言对齐和贪心算法的跨语言语义角色标注方法DAHRS,通过对齐修正和贪心算法实现假标注的去除,相比当前方法在准确率上有所提高。
  • 其它亮点
    论文使用CoNLL-2009数据集进行实验,相比当前最先进的方法XSRL,在EN-FR和EN-ES两个语言对中,DAHRS的准确率都有所提高。论文还定义了一种新的语言对齐度量方法,可以用于适应其他语言对。
  • 相关研究
    相关论文包括XSRL、CoNLL-2009等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论