在 Transformer 推动自然语言处理领域迅猛发展的当下，基于图神经网络的 NLP 研究也不容忽视。在近日的一篇综述论文中，来自京东硅谷研发中心、伦斯勒理工学院、浙江大学等机构和高校的研究者首次对用于 NLP 的图神经网络（GNN）进行了全面综述。其中涵盖大量相关和有趣的主题，如用于 NLP 的自动图构建、图表示学习和各种先进的基于 GNN 的编码器 - 解码器模型以及各种 NLP 任务中的 GNN 应用。本文共同一作为吴凌飞（京东硅谷研发中心）与 Yu Chen（伦斯勒理工学院）。
论文地址：https://arxiv.org/pdf/2106.06090.pdf
在解决自然语言处理（NLP）领域的各式问题时，深度学习（DL）已经成为当今的主导方法，尤其是当操作大规模文本语料时。传统的典型方法是将文本序列视为一组 token，比如 BoW（词袋）和 TF-IDF。随着近来词嵌入技术的成功，NLP 任务通常会将句子表示成 token 序列。因此，循环神经网络（RNN）和卷积神经网络（CNN）等常用深度学习技术已经在文本序列建模方面得到了广泛应用。
但是，对于大量各式各样的 NLP 问题，图结构才是最好的表示方式。举个例子，使用文本序列中的句子结构信息（比如依存关系和结构成本解析树），可通过整合特定于当前任务的知识来为原始序列数据提供增补。类似地，序列数据中的语义信息（比如摘要含义表示图和信息抽取图等语义解析图）也可用于增补原始序列数据。因此，这些图结构的数据可以编码实体 token 之间成对的关系，进而可用于学习信息更丰富的表示。
遗憾的是，在欧几里得数据（如图像）或序列数据（如文本）上具有颠覆性能力的深度学习技术却无法直接应用于图结构数据，这是因为图数据比较复杂，涉及到结构不规则和节点近邻数据大小不一致等情况。因此，这激起了图深度学习的研究浪潮，尤其是图神经网络的发展。
这波位于图深度学习和 NLP 交集处的研究浪潮已经影响到了大量 NLP 任务。在开发不同的 GNN 变体以及将它们用于许多 NLP 任务（包括分类任务、关系抽取和生成任务）上，研究社区兴趣浓厚并且已经取得了一些成功。尽管有这些成功的研究案例，但用于 NLP 的图深度学习研究仍旧面临着许多挑战：
- 如何将原始文本序列数据自动转换成高度结构化的图结构数据？这是 NLP 领域的一个重大问题，因为大多数 NLP 任务使用的初始输入都是文本序列。为了将图神经网络用于 NLP 问题，一大关键步骤是基于文本序列来自动构建图，进而利用其底层的结构信息；
- 如何确定该使用哪种合适的表示学习技术？图包括无向图、有向图、多关系图和异构图等不同形式，因此为了学习不同图结构数据的特有特征，使用针对具体情况专门设计的 GNN 是至关重要的；
- 如何有效地建模复杂数据？这是一个重要的挑战，因为许多 NLP 任务都涉及到学习基于图的输入和其它高度结构化输出数据（比如序列、树以及不同类型的图数据）之间的映射关系。