作者:Miryam de Lhoneux, Sheng Zhang, Anders Søgaard

简介:本文研究以“课程学习”提升跨语言迁移模型性能 。研究发现,大型多语言预训练语言模型(如mBERT和XLM-RoBERTa)对于句法分析模型的跨语言迁移(Wu和Dredze 2019)非常有效,但仅在相关语言之间有效。然而,在解析真正的低资源语言时,源语言和训练语言很少相关。为了缩小这一差距,作者采用了一种基于自动课程学习的多任务学习方法来动态优化异常语言的解析性能。作者表明,在零样本设置下,这种方法明显优于均匀和大小比例采样。

论文下载:https://arxiv.org/pdf/2203.08555.pdf

内容中包含的图片若涉及版权问题,请及时与我们联系删除