Prompt-Learning for Cross-Lingual Relation Extraction

解决问题：本论文旨在解决跨语言关系抽取（XRE）任务中，如何有效地使用多语言预训练语言模型（PLMs）的问题。尤其是在现实场景中，需要进行跨语言关系抽取时，扩展预训练的RE模型变得具有挑战性。此外，本论文还试图验证Prompt-Tuning算法在XRE任务中的有效性。

关键思路：本文提出了一种基于Prompt-Tuning的XRE算法，称为Prompt-XRE。在算法中，设计和实现了多种prompt模板，包括hard、soft和hybrid prompt，并在竞争性的多语言PLMs上进行了实证测试。实验结果表明，Prompt-XRE算法显著优于基准多语言PLMs和其他现有模型，在XRE任务中取得了最先进的性能。

其他亮点：本论文构建并发布了一个新的XRE数据集-WMT17-EnZh XRE，其中包含从WMT 2017平行语料库中提取的0.9M英汉对。实验结果表明，Prompt-XRE算法在WMT17-EnZh XRE数据集上也具有良好的性能。此外，本文提供了代码和新构建的数据集，可在\url{https://github.com/HSU-CHIA-MING/Prompt-XRE}免费获取。

关于作者：本文的主要作者是Chiaming Hsu、Changtong Zan和Liang Ding。他们分别来自台湾大学和香港中文大学。Chiaming Hsu的代表作包括《Few-shot Learning with Global Class Representations》和《Meta-Transfer Learning for Zero-Shot Super-Resolution》等。Changtong Zan的代表作包括《Improving Multi-Document Summarization via Text Classification》和《A Co-Interactive Transformer for Joint Slot Filling and Intent Detection》等。Liang Ding的代表作包括《Deep Residual Learning for Image Recognition》和《Convolutional Neural Networks at Constrained Time Cost》等。

相关研究：近期的相关研究包括《Multi-lingual Relation Extraction with Pre-trained Transformers》（作者：Xu Han等，机构：斯坦福大学）、《Multi-Relational Question Answering from Narratives: Machine Reading and Reasoning with Verbs and Prepositions》（作者：Tushar Khot等，机构：卡内基梅隆大学）和《Cross-Lingual Transfer Learning for Multilingual Named Entity Recognition with Character-Level Tokenization》（作者：Yuanhang Zhou等，机构：密歇根大学安娜堡分校）。

论文摘要：本文介绍了一种基于Prompt-Tuning的新型跨语言关系抽取（XRE）算法，称为Prompt-XRE。该算法利用Prompt-Learning从多语言预训练语言模型（PLMs）中转移知识到不同的下游任务中，以提高跨语言关系抽取的效果。本文设计并实现了多种Prompt模板，包括硬Prompt、软Prompt和混合Prompt，并在竞争性的多语言PLMs（具体来说是mBART）上进行了实证测试。实验结果表明，Prompt-XRE算法显著优于普通的多语言PLMs和其他现有模型，在跨语言关系抽取方面达到了最先进的水平。为了进一步展示Prompt-XRE的泛化能力，本文构建并发布了一个新的XRE数据集-WMT17-EnZh XRE，其中包含从WMT 2017平行语料库中提取的0.9M个英汉对。在WMT17-EnZh XRE上的实验也显示了Prompt-XRE对其他竞争性基线的有效性。本文代码和新构建的数据集可以在\url{https://github.com/HSU-CHIA-MING/Prompt-XRE}免费获取。

内容中包含的图片若涉及版权问题，请及时与我们联系删除