导语


时空数据的本质功能，是反映地理世界各要素或现象的数量和质量特征、空间结构和空间关系及其随时间的变化，是人类认知地理世界的基础。此次「时序时空大模型读书会」第四期将由发起人——香港科技大学（广州）智能交通学域、数据科学与分析学域助理教授梁宇轩老师主持，邀请到了香港大学&麻省理工学院交换博士生梁月冰、南方科技大学&香港城市大学联培博士生朱元绍、香港科技大学（广州）博士生严一博、北京交通大学硕士生周泽宇围绕 "LLM-as-Enhancer for STDM" 主题直播，深入浅出的分享使用大模型作为时空数据挖掘的增强器相关内容。

直播将于北京时间6月5日晚19:00-21:00线上公开进行，欢迎感兴趣的朋友参与讨论交流！

研究领域：时空数据，时空轨迹建模，城市计算，PLM4Traj，STLLM，UrbanCLIP





分享内容简介




本期读书会作为「时序时空大模型读书会」系列读书会的第四期直播分享，邀请到了香港大学&麻省理工学院交换博士生梁月冰、南方科技大学&香港城市大学联培博士生朱元绍、香港科技大学（广州）博士生严一博、北京交通大学硕士生周泽宇 “LLM-as-Enhancer for STDM：大模型赋能时空数据挖掘增强器” 主题分享，主要从“Data-centric Enhancer"和"Model-centric Enhancer”两个专题展开。

  • 梁月冰和周泽宇将领衔专题一，Data-centric Enhancer代表利用LLM生成外部信息（如文本、prompt）来augment data；

  • 朱元绍和严一博将领衔专题二，Model-centric Enhancer代表利用LLM生成外部信息来增强model，严博士补充强调用LLM生成text属于前者，CLIP对齐将信息融入img encoder属于后者等相关内容。




分享内容大纲




专题一：Data-centric Enhancer

（一）梁月冰：大语言模型增强公共事件中的出行预测
  • Part 1: 公共事件中的精准出行预测的重要性和挑战
  • Part 2: 大语言模型的独特优势
  • Part 3: 大语言模型增强公共事件中的出行预测
（二）周泽宇：多任务适应的时空轨迹学习模型
  • Part 1  多任务适应的时空轨迹学习背景

  • Part 2  基于预训练语言模型的多任务适应的轨迹学习模型——PLM4Traj


专题二：Model-centric Enhancer

（三）朱元绍：基于大语言模型的时空图学习
  • Part1：时空图学习的现有挑战
  • Part2：基于LLM的时空图知识对齐模型——STLLM
（四）严一博：多模态大模型与城市计算
  • Part1：城市多模态背景概览
  • Part2：城市多模态模型——UrbanCLIP

  • Part3：城市多模态未来展望





核心概念



 

  • 大语言模型 Large Language Model;
  • 基座模型 Foundation Model;
  • 时空数据 Spatio-temporal Data;
  • 时空图学习 Spatio-temporal Graph Learning;
  • 时空轨迹建模 Spatio-temporal Trajectory Modeling
  • 多模态分析 Multi-modal Analysis

  • 城市计算 Urban Computing





分享人介绍



 

（1）主讲人：梁月冰

梁月冰，香港大学博士在读，研究方向为时空数据挖掘。


（2）主讲人：周泽宇

周泽宇，北京交通大学在读硕士生，主要研究方向是时空数据挖掘。


（3）主讲人：朱元绍

朱元绍，南方科技大学&香港城市大学联培博士在读，研究方向包括时空数据挖掘、轨迹建模、联邦学习等。


（4）主讲人：严一博

严一博，香港科技大学（广州）博士在读，新加坡国立大学硕士，研究方向包括多模态学习、自然语言处理、时空数据挖掘等。


（5）主持人：梁宇轩

梁宇轩，香港科技大学（广州）智能交通学域、数据科学与分析学域助理教授、博士生导师。长期从事人工智能与时空数据挖掘技术在城市计算、智能交通等领域的跨学科交叉研究。在TPAMI、TKDE、AI Journal、KDD、WWW、NeurIPS、ICML等多个权威国际期刊和会议发表高水平论文80余篇，其中CCF A类论文达60余篇。谷歌学术引用量3900余次，h-index为31，多篇论文入选最具影响力KDD/IJCAI论文。长期担任TKDE、TMC、VLDBJ等国际知名期刊审稿人，KDD、WWW、NeurIPS、ICML、ICLR等国际顶级会议程序委员会成员，曾获评SIGSPATIAL杰出程序委员会成员。多次担任数据挖掘和人工智能顶会 (KDD、IJCAI等) Workshop on Urban Computing, Workshop on AI for Time Series的联合主席。曾获得新加坡数据科学联合会论文研究奖，第二十三届中国专利优秀奖等海内外奖项。





本期主要参考文献



 

  1. Liang, Yuxuan, Haomin Wen, Yuqi Nie, Yushan Jiang, Ming Jin, Dongjin Song, Shirui Pan, and Qingsong Wen. "Foundation models for time series analysis: A tutorial and survey." KDD 2024.

  2. Jin, Ming, Yifan Zhang, Wei Chen, Kexin Zhang, Yuxuan Liang, Bin Yang, Jindong Wang, Shirui Pan, and Qingsong Wen. "Position Paper: What Can Large Language Models Tell Us about Time Series Analysis." ICML 2024.

  3. Yuebing Liang, Yichao Liu, Xiaohan Wang, et al. Exploring Large Language Models for Human Mobility Prediction under Public Events. arXiv:2311.17351, 2023

  4. Zhou Zeyu. PLM4Traj: Cognizing Movement Patterns and Travel Purposes from Trajectories with Pre-trained Language Models. arXiv:2405.12459

  5. Qianru Zhang, Xubin Ren, Lianghao Xia, et al. Spatio-Temporal Graph Learning with Large Language Model

  6. Guangyin Jin, Yuxuan Liang, Yuchen Fang, et al. Spatio-Temporal Graph Neural Networks for Predictive Learning in Urban Computing: A Survey

  7. Xu Liu, Junfeng Hu, Yuan Li, et al. UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting. arXiv.org, 2023, abs/2310.09751

  8. Yibo Yan, Haomin Wen, Siru Zhong, et al. UrbanCLIP: Learning Text-enhanced Urban Region Profiling with Contrastive Language-Image Pretraining from the Web. arXiv:2310.18340, 2023

  9. Xingchen Zou, Yibo Yan, Xixuan Hao, et al. Deep Learning for Cross-Domain Data Fusion in Urban Computing: Taxonomy, Advances, and Outlook. arXiv:2402.19348, 2024

  10. Hao Xixuan. UrbanVLP: Multi-Granularity Vision-Language Pretraining for Urban Region Profiling

  11. Xingchen Zou, Jiani Huang, Xixuan Hao, et al. Learning Geospatial Region Embedding with Heterogeneous Graph

  12. Daudt R.C., Saux B.Le, Boulch A., et al. Urban Change Detection for Multispectral Earth Observation Using Convolutional Neural Networks


读书会阅读材料较多，为了更好地阅读体验，可扫描下方二维码进入集智斑图页面，阅读并收藏感兴趣的论文。

https://pattern.swarma.org/article/293





直播信息




时间：
2024年6月5日（周三）晚上19:00-21:00（北京时间）。
参与方式：

1、集智俱乐部 B 站免费直播，扫码可预约。

2、本期读书会公开进行，扫码即可直接获取读书会回看权限。欢迎感兴趣的朋友报名新一季时序时空大模型读书会，加入群聊，获取系列读书会回看权限，成为“Time-LLMs”社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动社区的发展。

斑图地址：https://pattern.swarma.org/study_group_issue/686


报名成为主讲人：
读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。具体见系列读书会详情：时序时空大模型读书会启动：大模型开启时序时空数据挖掘新视角



时序时空大模型读书会招募中


现代生活产生了大量的时序数据和时空数据，分析这些数据对于深入理解现实世界系统的复杂性和演化规律至关重要。近期，受到大语言模型（LLM）在通用智能领域的启发，"大模型+时序/时空数据"这个新方向迸发出了许多相关进展。当前的LLM有潜力彻底改变时空数据挖掘方式，从而促进城市、交通、遥感等典型复杂系统的决策高效制定，并朝着更普遍的时空分析智能形式迈进。

集智俱乐部联合美国佐治亚理工学院博士&松鼠AI首席科学家文青松、香港科技大学（广州）助理教授梁宇轩、中国科学院计算技术研究所副研究员姚迪、澳大利亚新南威尔士大学讲师薛昊、莫纳什大学博士生金明等五位发起人，共同发起以“时序时空大模型”为主题的系列读书会，鼓励研究人员和实践者认识到LLM在推进时序及时空数据挖掘方面的潜力，共学共研相关文献。读书会第一期分享从5月8日（周三）19:00 公开直播，后续分享时间为每周三19:00-21:00（北京时间）进行，预计持续10-12周。欢迎感兴趣的朋友报名参与！


详情请见：
时序时空大模型读书会启动：大模型开启时序时空数据挖掘新视角


点击“阅读原文”，报名读书会

内容中包含的图片若涉及版权问题，请及时与我们联系删除