CS Frontier Tutorial | 探寻智能之源：大语言模型的机理理解

希望能够帮助大家了解各个方向和领域，找到自己的兴趣和热情所在，并且提供一些与导师交流的机会；

可以通过活动开阔眼界，学习到不同领域的方法论，促进交叉领域科研；

希望提供一个系统学习和高效讨论的好机会。

探寻智能之源：大语言模型的机理理解

近年来，大语言模型展现了其在自然语言理解、生成与交互方面的卓越能力，引起了学术界和工业界的广泛关注。然而，这些模型巨大参数量和复杂结构背后所蕴含的工作机理仍然在很大程度上如同一个“黑盒”。这极大地限制了我们对大语言模型行为的精准预测与可靠控制。

本次报告将聚焦于大语言模型机理的深度理解，并系统性介绍前沿的可解释性研究方法。报告将首先回顾大语言模型的核心架构，介绍当前主流的机理可解释性技术，特别是稀疏自编码器（Sparse Autoencoder，SAE）与电路分析（Circuit Analysis）如何被用于剖析模型内部的特征表示和功能模块。

报告将结合近期的前沿研究成果进行介绍，包括如何利用稀疏自编码器发掘并调控模型的语言学机制，以及如何分析理解大语言模型隐式推理的机理。本次分享旨在帮助同学们对大语言模型内部机理和可解释性研究建立基本认知，激发大家对这一充满挑战与机遇领域的研究兴趣。

潘亮铭，现为北京大学计算机学院助理教授、博士生导师，北京大学博雅青年学者。2014 年、2017 年和 2022 年分别于北京航空航天大学、清华大学和新加坡国立大学获得本科学位、硕士学位和博士学位。主要研究方向包括自然语言处理、机器学习、大语言模型与可解释人工智能等，在国际顶级会议和期刊发表论文 50 余篇，Google Scholar总引用量超过4000次。常年担任 NeurIPS、ACL、EMNLP、NAACL 等顶级学术会议的领域主席。论文曾获 ACL 2025 SAC Highlights Award、NeurIPS 2024 Workshop 最佳论文奖、IJCNLP-AACL 2023 Area Chair Award。

姚子俊，现为清华大学计算机科学与技术系博士生，2020 年于北京邮电大学取得本科学位。研究方向为大模型的知识推理与大模型的机理分析。在学术会议 ACL，EMNLP，NeurIPS，ICLR 等上发表多篇论文。其研发的可视化知识编程推理框架（VisKoP）获得 ACL 2023 最佳系统展示奖励。获得 CIKM 2021 Outstanding Paper 提名。担任 ARR，NeurIPS，ICLR 等多会议审稿人。谷歌学术引用次达 860 余次，H-index 为 17。

叶佳然，现为清华大学 KEG 实验室硕士三年级研究生。研究方向为大模型机理。第一作者的论文曾发表于 NeurIPS 2025 会议并获得 spotlight paper。

北京大学图灵班科研活动委员会