标题:浙大、香侬|BertGCN: Transductive Text Classification by Combining GCN and BERT(BertGCN:直推式文本分类通过合并GCN和BERT)

简介:在这项工作中,我们提出了BertGCN,该模型结合了大规模的预训练和跨语言学习进行文本分类。 BertGCN在数据集上构建异构图,并使用BERT表示法将文档表示为节点。 通过在BertGCN内联合训练BERT和GCN模块,所提出的模型能够利用两个世界的优势:大规模的预训练,利用大量的原始数据和转换学习,通过图卷积传播标签影响力共同学习训练数据和未标记测试数据的表示形式。 实验表明,BertGCN在各种各样的文本分类数据集上都可以实现SOTA性能。

代码:https://github.com/ZeroRin/BertGCN

论文链接:https://arxiv.org/pdf/2105.05727v2.pdf

 

内容中包含的图片若涉及版权问题,请及时与我们联系删除