集智俱乐部 集智俱乐部 2024年07月18日 13:43 


导语


传统机器学习方法较少挖掘数据中的内在联系，如CNN处理图片数据往往只关注每个像素点，而不考虑像素之间的关系。为了学习图结构数据，图神经网络应运而生；为了挖掘出数据中更复杂的内在关联，研究者慢慢搭建出几何深度学习的殿堂。AlphaFold的颠覆性成果将几何深度学习带入更多研究者的视野中来，而这一新兴方向又将朝向哪里发展？双曲几何？子图神经网络？量子机器学习？

「几何深度学习」读书会第二期将由发起人之一上海交通大学副教授王宇光，带领大家探索几何深度学习的研究进展，以及未来的技术趋势。本次分享将先介绍图神经网络如何利用消息传递模式和图卷积模块处理图结构数据，并分析其缺陷，然后将从消息传递单纯复形网络展开介绍几何深度学习的研究进展，并将介绍双曲几何与模型算法的结合，最后，将一起探讨这一领域的未来技术发展趋势以及前沿应用。读书会将于周四晚（7月18日）19:00-21:00进行，欢迎感兴趣的朋友参与讨论交流！




分享内容简介




本次分享将主要介绍几何深度学习和图神经网络的研究进展，以及未来的技术趋势。

首先，将介绍图神经网络在处理具有结构属性和拓扑性质的数据中的重要作用，特别是模型中的消息传递模式和图卷积模块。同时，将分析传统图神经网络的缺陷。

其次，将介绍消息传递单纯复形网络，从而探讨如何更好地表征图数据以及几何深度学习和图神经网络未来的发展方向，包括引入微分几何方法、离散微分几何、子图神经网络、微分方程等，特别是将讨论如何与双曲几何进行结合。

最后，将探讨近年来相关领域的重大进展，如AlphaFold在蛋白质结构预测中的应用，以及GNNs在数学定理证明中的作用。此外，将讨论图神经网络在药物发现、交通预测、智慧城市建设等领域的应用前景，并展望其与强化学习、量子机器学习结合的可能性。




分享内容大纲




图神经网络的模型与缺陷

几何深度学习及其技术发展趋势

突破性应用与展望




主要涉及到的知识概念




图神经网络 Graph Neural Networks, GNNs

谱图卷积 Spectral Graph Convolution

消息传递单纯复形网络 Message-Passing Simplicial complex Network, MPSNs

双曲几何 Hyperbolic Geometry

离散微分几何 Discrete Differential Geometry




讲者介绍





王宇光，上海交通大学自然科学研究院和数学科学学院，副教授。上海应用数学中心、上海人工智能实验室和新南威尔士大学担任兼职副教授，前马克斯·普朗克研究所的研究科学家。在新南威尔士大学取得数学博士。在图神经网络和大型模型等领域已发表60多篇顶刊顶会，包括Appl Comput Harmon Anal、SINUM、FoCM、JMLR、Cell Reports Medicine，以及ICML、NeurIPS、ICLR，其中三篇论文被选为AI顶会亮点文章。2024年，其团队发布了中国首个TourSynbio蛋白大模型。


研究方向：人工智能、计算数学、统计学和数据科学。目前正在研究几何深度学习、图神经网络、应用调和分析、贝叶斯推理、信息几何、数值分析以及在生物医学和蛋白质设计中的应用。
https://pattern.swarma.org/master/1220




参考文献




推荐语：这篇文章因其创新性地将图卷积网络扩展到双曲几何（Hyperbolic GCNs)、深入的技术探讨、广泛的实验验证以及领域内知名作者的背书，成为了双曲几何图神经网络研究领域的基石性工作，对后续研究具有重要的指导和启发作用。

Chami, I., Ying, R., Ré, C., & Leskovec, J. (2019). "Hyperbolic Graph Convolutional Neural Networks." NeurIPS (2019).

推荐语：这篇文章提出了一种新型的单纯复形消息传递网络（MPSNs），通过在单纯复形上执行消息传递来捕捉复杂系统的多级交互，并在理论和实验上证明了其相较于传统图神经网络具有更高的表达能力和区分复杂图结构的能力。


Bodnar, Cristian, et al. "Weisfeiler and lehman go topological: Message passing simplicial networks." ICML (2021).




参与方式




直播信息
时间：2024年7月18日（本周四）晚19:00-21:00

报名参与读书会：
斑图链接：
https://pattern.swarma.org/study_group_issue/717?from=wechat

扫码参与几何深度学习读书会，加入群聊，获取系列读书会回看权限，加入图神经网络与几何深度学习社区，与社区的一线科研工作者沟通交流，共同推动几何深度学习这一前沿领域的发展。


报名成为主讲人
读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。详情请见：几何深度学习读书会启动：破解自然法则，启发科学智能


几何深度学习读书会招募中



拓扑编织着复杂世界，机器学习孕育着技术奇点。一个维度，其中拓扑理论与深度学习模型交织共鸣；一个领域，它跨越了数学的严谨与本质以及人工智能的无限可能，开辟着通往科学新纪元的航道。让我们携手在几何深度学习的起点出发，一路探索如何走向AI for Science的无限未来。


集智俱乐部联合中国人民大学黄文炳副教授、上海交通大学王宇光副教授和南洋理工大学夏克林副教授发起「几何深度学习」读书会。从2024年7月11日开始，每周四19:00-21:00进行，持续时间预计 8-10 周，社区成员将一起系统性地学习几何深度学习相关知识、模型、算法，深入梳理相关文献、激发跨学科的学术火花、共同打造国内首个几何深度学习社区！欢迎加入社区与发起人老师一起探索！





图神经网络与组合优化读书会


现实世界中大量问题的解决依赖于算法的设计与求解。传统算法由人类专家设计，而随着人工智能技术不断发展，算法自动学习算法的案例日益增多，如以神经网络为代表的的人工智能算法，这是算法神经化求解的缘由。在算法神经化求解方向上，图神经网络是一个强有力的工具，能够充分利用图结构的特性，实现对高复杂度算法的高效近似求解。基于图神经网络的复杂系统优化与控制将会是大模型热潮之后新的未来方向。

为了探讨图神经网络在算法神经化求解的发展与现实应用，集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院副教授黄文炳，共同发起「图神经网络与组合优化」读书会。读书会将聚焦于图神经网络与算法神经化求解的相关领域，包括神经算法推理、组合优化问题求解、几何图神经网络，以及算法神经化求解在 AI for Science 中的应用等方面。读书会已完结，现在报名可加入社群并解锁回放视频权限。


微信群                  公众号

内容中包含的图片若涉及版权问题，请及时与我们联系删除