前两天在 arxiv 刷到了一篇已被 ACL 2022 主会接受的文章，题名《Unified Structure Generation for Universal Information Extraction》，简单看了摘要后整个震惊。作者采用生成式 text to structure 结构统一了信息抽取的四个任务，并且在 13 个数据集上采用全监督、低资源和少样本设置下均取得了 SOTA。

论文标题：

Unified Structure Generation for Universal Information Extraction

论文作者：

Yaojie Lu, Qing Liu, Dai Dai, Xinyan Xiao, Hongyu Lin, Xianpei Han, Le Sun, Hua Wu

作者单位：

中科院软件所中文信息处理实验室，百度

收录会议：

ACL 2022

论文链接：

https://arxiv.org/abs/2203.12277

Demo链接：

https://universal-ie.github.io/

文章贡献：

  1. 设计了一种结构化抽取语言（Structural Extraction Language, SEL），它能够将四种信息抽取任务的不同结构统一描述，使得模型的输出结构针对不同任务都是一致的。

  2. 由于模型可以做多个任务，所以需要一种方式去指导模型做指定的任务，因此作者设计了结构化模式指导器（Structural Schema Instructor, SSI），其实这就是一种 prompt。

  3. 由于模型的输出都是符合 SEL 语法的结构化信息，而目前常用的生成式预训练模型如 T5、BART 都是以生成自然语言为主，若直接采用这种预训练模型会影响到模型性能，因此作者专门针对 text to structure 的结构来预训练了一个大模型。

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除