【ACL2019】Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks
作者：Shikhar Vashishth, Manik Bhandari, Prateek Yadav, Piyush Rai, Chiranjib Bhattacharyya, Partha Talukdar
团队：无
链接：https://arxiv.org/pdf/1809.04283.pdf
导读：针对传统方法只考虑词汇的分布信息（共现词汇更相似），没有考虑到句法信息和外部的语义信息，作者提出了一个两步式 Word Embedding 学习方案。首先通过一个 GCN （SynGCN）学习句子层面的句法依存关系，将与当前词汇有依赖关系的其他词汇作为当前词汇的邻居，训练目标是最大化与有依赖关系词之间的条件概率。然后通过一个 GCN （SemGCN）用于 Fine-tune 来学习语料层面的信息，主要是考虑外部引入的同义词，反义词，下意词和上意词等关系。SemGCN 的输入信息是 pretrained Word Embedding（可以由 SynGCN，Word2vec, Glove 等提供）。实验证明考虑句法信息和语义信息能取得很好的效果。
Training Embedding using SynGCN
Fine-Tuning embedding using SemGCN
【IEEE trans 2021】Learning Knowledge Graph Embedding With Heterogeneous Relation Attention Networks
作者：Zhifei Li, Hai Liu, Zhaoli Zhang, Tingting Liu Neal N. Xiong
团队：无
导读：本文是一篇基于 GNN 的异构知识图谱表示（实体和链接表示）用于链接预测的文章。本文主要创新点在与它的信息 aggregation function 和最后用于链接预测的 score function。首先为节点 e，为 R 种关系学习 R 种关系路径下的邻居信息；然后通过关系向量（模型自己学习）为每种关系学习一个 attention 权重来选择有利的关系路径信息，多种关系路径的信息通过聚合方法（mean, max, sum）将信息传递到节点 e；最终第 L 层的节点，关系向量通过该文章提出的新的 score function （ConvD）来预测链接。该 score function 主要是通过多个卷积核学习丰富的关系和实体信息，最后通过全连接层得到最终得分。该方法在 WN18RR和 FB15k-237数据集上的表现超过了现有的先进模型。
对比的基线方法：SACN，R-GCN，ConvE，RotatE，ModE，InteractE
本期内容：盛泳潘 黄豪
评论
沙发等你来抢