【论文标题】Learning Neighborhood Representation from Multi-Modal Multi-Graph: Image, Text, Mobility Graph and Beyond

【作者团队】Tianyuan Huang, Zhecheng Wang, Hao Sheng, Andrew Y. Ng, Ram Rajagopal

【发表时间】2021/05/06

【机构】斯坦福大学

【论文链接】https://arxiv.org/pdf/2105.02489.pdf

本文出自斯坦福大学吴恩达团队，作者针对城市计算问题，构建了一种新的嵌入方法。作者基于区域与邻域的关系，将输入的多模式地理标注数据集成为多图的节点或边的特征，得到了优于单模态输入的效果。

随着城镇化的进展，带标记的地理数据也随之丰富了起来（例如，街景和兴趣点，POI）。通过更丰富的数据模态增强的区域嵌入使研究人员和城市管理者能够更好地理解建筑环境、社会经济和城市动态。

虽然已经有一些研究工作同时使用多模态的输入，但我们可以通过在同一嵌入空间中结合不同的「距离」度量来改进现有的方法，不仅利用描述区域特征（例如，街景、局部商业模式）的数据，还可以那些描述地区之间关系的（例如，旅行，道路网络）的数据。

为此，本文作者提出了一种新的方法，基于区域与邻域的关系（如图块、人口块、邮政编码区域等），将输入的多模式地理标注数据集成为多图的节点或边特征。接着，作者学习基于多图的对比采样方案学习邻域表征。具体而言，作者使用街景图像和 POI 特征来表征邻居节点，并使用人类的移动来表征邻居之间的关系（有向边）。作者通过定量的下游任务以及对嵌入空间的定性分析证明了所提方法的有效性：本文训练的嵌入优于仅使用单模态数据作为区域输入的嵌入。

图 1：芝加哥的城市邻域多模态多图

内容中包含的图片若涉及版权问题，请及时与我们联系删除