一作解读：从谱聚类角度理解对比学习｜周五直播·人工智能与数学读书会

分享内容简介

本次分享将会讨论如何利用数学来理解对比学习的成功，并帮助提供新的改进。对比学习是一种强大的自监督学习方法，但我们对其工作原理和为何有效的理论理解有限。我们将会讨论使用标准的InfoNCE损失函数进行对比学习等价于在相似性图上进行谱聚类。利用这个等价关系作为基础，我们将分析扩展到了CLIP模型，并严格地描述了多模态对象如何被嵌入到一起。

本次分享讲主要解读“Contrastive Learning Is Spectral Clustering On Similarity Graph”这篇论文，介绍如何从马尔科夫随机场（markov random field）角度来自然导出对比学习（contrastive learning），并提供了这个框架在多模态学习上的应用。我们建立的框架不但可以准确理解对比学习成功的原因，还可以启发更好的改进。











分享内容大纲







‍

• 引言 Preliminaries

• 背景介绍 Background

• 研究动机 Research motivation

• 单模态对比学习与谱聚类的关系 Unimodal contrastive learning and spectral clustering

• 应用于多模态对比学习 Applying to multi-modal contrastive learning

• 新的损失函数 New loss












主要涉及到的知识概念







 

• 对比学习 Contrastive learning

• 谱聚类 Spectral clustering

• 马尔科夫随机场 Markov random field

• 核方法 Kernel method













主讲人介绍










智泉，清华大学数学系在读博士。主要研究方向是自监督学习、深度学习理论、表示学习。在NIPS上发表论文1篇。











主要涉及到的参考文献










Tan Z, Zhang Y, Yang J, et al. Contrastive Learning Is Spectral Clustering On Similarity Graph[J]. arXiv preprint arXiv:2303.15103, 2023.













本次分享与读书会主题之间的关系










 • 与读书会之间的关系：
本次主讲内容与时math4ai密切相关，讲解数学来理解对比学习算法并提出数学启发的新算法。











直播信息










时间：

2023年10月27日（本周五）晚上20:00-22:00




参与方式：
扫码参与人工智能与数学读书会，加入群聊，获取系列读书会回看权限，成为AI+Science社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动AI+Science社区的发展。





人工智能与数学读书会启动





人工智能与数学读书会主要围绕AI　for　math，math　for　AI两个方面深入探讨人工智能与数学的密切联系。首先，我们将概述人工智能在数学的应用，并深入探讨大模型与数学推理，定理自动证明， AI发现数学规律，符号计算等方向的研究工作。随后，我们将转向大模型与神经网络的数学基础。最后，我们将深入探讨几何与拓扑在机器学习的应用。人工智能与数学读书会自2023年9月15日开始，每周五晚上20:00-22:00举办，持续时间预计 8 周。欢迎对本话题感兴趣的朋友报名参加！







详情请见：

人工智能与数学读书会启动：AI for Math，Math for AI







点击“阅读原文”，报名读书会