导语


为了深入探讨 AGI 相关话题，集智俱乐部联合集萃深度感知技术研究所所长岳玉涛、麻省理工学院博士沈马成、天普大学博士生徐博文，共同发起 AGI 通用人工智能读书会。读书会从2023年9月21日开始，每周四晚上 19:00-21:00进行，预计持续7-10周。


本次读书会是系列读书会的第五期，将由王庆法老师关于“LLM大模型的数理认知框架”进行分享。《谷歌斯坦福院士：通用人工智能已经到来》文中阐述了“AGI 最重要的部分已经由当前一代先进的人工智能大语言模型实现了”的观点。与年初王老师在《ChatGPT是第一个真正意义的人工通用智能》的判断一致。此次分享的内容来自王老师过去几个月探索研究 “GPT4技术原理”的系列文章——《人工智能大模型的数学物理原理探索》，期望能给大家提供一个理解大模型是如何具备了AGI的学习推理能力的思想框架。






分享内容简介




该系列文章基于大量专业领域的重要论文与经典书籍，参考了国内外相关专家的深度分析与洞察，加上作者自己的理论与逻辑推演，梳理而成。请大家作为思想框架而非学术结论批判式的参考。
“GPT4技术原理”的系列文章：学习语言需要相变，相变与涌现，重整化群与生成式AI，重整化群流作为最优输运等，已经梳理出来大模型认知框架：
1.海量的文本或者多模态语料组成了大模型需要认知的外部世界的基本信息；嵌入构建高维概率化的语言空间，用来建模语言文字图像以及音视频，并对连续变量做离散化；
2.预训练以重整化群流的方式进行，在不同尺度上提炼语料数据中的信息概率分布；重整化群流的每一步流动（自回归预测逼近训练语料概率分布），都沿着最优输运的成本最低方向进行；
3.重整化群在不动点附近因新语料带来微扰而发生对称性破缺，滑入不同的相空间；不同的相空间，对应某种意义上的范畴，可形象化为信息的结晶；这是大模型从语料中学到的内部世界模型；
4.在外部感官输入下（被提示置于某种上下文），大模型内部将限定在相应的高维语言概率空间的子空间内推理；推理是在子空间中采样，类比时跨范畴采样；

5.采样不断进行，基于内部概率化了的世界模型（预训练获得的先验），针对感官输入（提示），做变分推断，最小化自由能，获取最佳采样分布q*，作为对导致感官输入的外部后验的预测。





分享内容大纲




  1. ChatGPT是第一个真正意义的人工通用智能

  2. OpenAI首席科学家透露GPT4技术原理

  3. 学习语言需要相变

  4. 相变与涌现

  5. 贝叶斯重整化

  6. 重整化群与生成式AI

  7. 重整化群流作为最优输运

  8. 大模型的幻觉，解铃还须系铃人

  9. 范畴的相变与知识的形成

  10. 通用人工智能已经到来





主要涉及核心概念




  1. 大脑自由能理论【文献2】

  2. Embedding【文献3】

  3. 重整化群流【文献7】

  4. 概率丰富语言范畴【文献9】

  5. 随机图相变

  6. 概率分布空间

  7. 贝叶斯重整化【文献8】

  8. 变分推断




主讲人




王庆法，二十多年从事数据与分析领域工作，先后服务于 IBM，微软，亚马逊等企业研发部门。现为世界500强龙头电子制造企业数字化转型的技术和分析负责人。长期研究深度学习、神经网络、以及现在大模型的数学物理原理。个人公众号“清熙”的作者。





主要涉及到的参考文献



  1. 薛定谔 《What is Life?》 https://www.cambridge.org/core/books/what-is-life/A876185F2DB06FF5C2CC67C9A60DAD7F

  2. Karl Friston "The free-energy principle" https://www.nature.com/articles/nrn2787

  3. Ashish Vaswani, et al.  "Attention Is All You Need"  https://arxiv.org/abs/1706.03762

  4. Philip W. Anderson "More Is Different" https://www.science.org/doi/10.1126/science.177.4047.393

  5. Robert Kolenkow《An Introduction to Groups and their Matrices for Science Students》https://assets.cambridge.org/97811088/31086/frontmatter/9781108831086_frontmatter.pdf

  6. Hong-Ye Hu, et al. "RG-Flow: A hierarchical and explainable flow model based on renormalization group and sparse prior" https://arxiv.org/abs/2010.00029

  7. Jordan Cotler, et al. "Renormalization Group Flow as Optimal Transport"  https://arxiv.org/abs/2202.11737

  8. David S. Berman, et al. "Bayesian Renormalization"  https://arxiv.org/abs/2305.10491

  9. Tai-Danae Bradley, et al. "An Enriched Category Theory of Language" https://arxiv.org/abs/2106.07890


王庆法老师在「GPT4 技术原理」的系列文章中，深度解析了 ChatGPT 获得智能的数学物理机理：

ChatGPT是第一个真正意义的人工通用智能

学习语言需要相变

GPT4技术原理二：相变与涌现

GPT4技术原理三：重整化群与生成式AI

GPT4技术原理四：重整化群流作为最优输运

GPT4技术原理五：大模型的幻觉，解铃还须系铃人

GPT4技术原理六：范畴的相变与知识的形成



直播信息




直播时间：

2023年10月28日（本周六）19:00-21:00


参与方式：扫码参与AGI通用人工智能读书会，加入群聊，获取系列读书会回看权限，与社区的一线科研工作者与企业实践者沟通交流，共同推动AGI通用人工智能社区的发展。


AGI读书会启动


为了深入探讨 AGI 相关话题，集智俱乐部联合集萃深度感知技术研究所所长岳玉涛、麻省理工学院博士沈马成、天普大学博士生徐博文，共同发起 AGI 读书会，涵盖主题包括：智能的定义与度量、智能的原理、大语言模型与信息世界的智能、感知与具身智能、多视角下的人工智能、对齐技术与AGI安全性、AGI时代的未来社会。读书会从2023年9月21日开始，每周四晚上 19:00-21:00，预计持续7-10周。欢迎感兴趣的朋友报名参与！



详情请见：

AGI 读书会启动：迈向通用人工智能的跨学科路径



点击“阅读原文”，报名读书会

内容中包含的图片若涉及版权问题，请及时与我们联系删除