1.GNN在预训练中的研究：
【KDD 2020】

GPT-GNN：Generative Pre-Training of Graph Neural Networks
文章作者：Ziniu Hu, Yuxiao Dong, Kuansan Wang, Kai-Wei Chang, Yizhou Sun
文章地址：https://dl.acm.org/doi/abs/10.1145/3394486.3403237
文章导读：论文作者来自加利福尼亚大学洛杉矶分校与微软雷德蒙德研究院。本文提出了GPT-GNN框架去初始化GNN通过生成式预训练。GPT-GNN引入了一个自监督的属性图生成任务，对GNN进行预训练，以获取图的结构和语义属性。文章将图生成的可能性分解为两个部分：1）属性生成；2）边生成。通过对这两个组件进行建模，GPT-GNN捕获了生成过程中节点属性和图形结构之间的固有依赖关系。实验表明，在各种下游任务中，GPT-GNN显著优于不进行预训练的GNN模型最高可达9.1%。

GPT-GNN的预训练和微调流程

2.【ACM 2021】论文题目：

Graph Neural Networks: Methods, Applications, and Opportunities
论文作者:RIPON PATGIRI，
LILAPATI WAIKHOM
论文地址：https://arxiv.org/pdf/2108.10733.pdf
论文导读:此论文对GNN模型全面调研，从图的定义开始，到图网络与各种学习方式的结合，并且归纳了各种数据集，且在部分问题上给出了SOTA模型的资源。最后作者分析了GNN的理论挑战分析和实验挑战分析。

 

3.GNN在推荐系统中的研究：
【IJCAI 2021】

User-as-Graph: User Modeling with Heterogeneous Graph Pooling for News Recommendation
文章作者：Chuhan Wu, Fangzhao Wu, Yongfeng Huang, Xing Xie
文章地址：https://www.ijcai.org/proceedings/2021/224
文章导读：文章作者来自清华大学和微软亚洲研究院。文本关注新闻推荐中的用户建模。以往对用户的建模依赖于用户历史点击新闻的时序关系或注意力关系，而忽略了用户行为之间的内部关联。作者将每个用户建模为一张异构图，图中节点包括用户历史点击的新闻、新闻主题、新闻中包含的实体。同时为了有效的学习这张异构图上的节点表示，作者提出一种新颖的图构图池化方法。该模型可以为预测用户兴趣提供更加细粒度的信息。

模型图