Large Graph Models: A Perspective

Z Zhang, H Li, Z Zhang, Y Qin, X Wang, W Zhu
[Tsinghua University]

大型图模型综述

  • 大模型在自然语言处理和计算机视觉领域取得了巨大成功，但在图领域的成功还不明显，开发大型图模型可能是下一个突破口。
  • 大型图模型的期望特性：展现扩展律，成为图基础模型，拥有上下文理解能力，具备多样的推理能力。
  • 图表示基础的挑战：领域多样，可迁移性差，与自然语言对齐困难。潜在解决方案:找到统一表示，与文本对齐，使用算法作为中间表示。
  • 与自然语言处理和计算机视觉相比，图数据不足，需要更多大规模高质量图数据，但获取困难。
  • 图模型架构：GNN有归纳偏差但容量有限，Transformer更灵活但效率存在问题，目前两者都没有明显优势，预训练对大型图模型极为关键。
  • 提示、高效微调和模型压缩等后处理技术值得在大型图模型中探索。
  • 将图转换为文本，使用语言模型作为图模型是一种有前景的新方向。
  • 有价值的应用包括推荐、知识图谱、分子、金融、代码、交通等，最初可以从特定领域的数据和模型入手。

动机：大型模型在自然语言处理和计算机视觉领域取得了巨大成功，但在图领域的应用还不如其他领域。该论文旨在探讨发展大型图模型的挑战和机遇，并推动其在图领域的应用。
方法：论文从图模型的表示基础、图数据和图模型三个关键视角展开详细讨论，提出大型图模型的期望特征，并总结了最新进展和仍面临的挑战。
优势：提供了对大型图模型的宝贵应用，包括推荐系统、知识图谱、分子、金融、代码和程序、城市计算和交通等领域。

一句话总结: 探讨了发展大型图模型的挑战和机遇，旨在推动大规模图模型在图领域的应用，并提供了有价值的图相关应用方向。

https://arxiv.org/abs/2308.14522 


图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除