报告主题："懒惰神经元": 大模型中的自发稀疏激活现象及应用

报告日期：07月23日（周三） 10:30-11:30

报告要点:
近年来，以Transformer为代表的深度神经网络模型在自然语言处理和计算机视觉等领域取得了巨大成功。然而，这些模型通常伴随巨大的计算成本和能耗，如何提高模型推理效率成为业界与学界关注的核心问题之一。
有趣的是，尽管主流Transformer模型看起来计算密集，近期研究揭示了一个被广泛忽视的自发现象——“懒惰神经元（Lazy Neuron）”：在训练完毕的Transformer模型中，每个输入样本通常只会有极少数神经元（<10%）在推理中被有效激活。这种内在的激活稀疏性（Activation Sparsity）意味着大量计算资源被浪费在了无意义的零值运算上。本次报告将围绕两篇重要研究展开讨论：
  • 第一篇论文《The Lazy Neuron Phenomenon》揭示了Transformer模型中激活稀疏性的广泛存在性及对模型表现的影响；
  • 第二篇论文《Spark Transformer》则提出了一种结构设计，通过巧妙的“稀疏激活预测机制”（Statistical Top-k），在不牺牲性能的前提下大幅提升模型推理的效率。
我们将深入探讨激活稀疏性的发生，本质，意义，以及如何将这种现象转化为实际的模型优化策略。
报告嘉宾：
由翀，现为谷歌研究院的高级研究科学家，研究方向为大语言模型和大型推荐系统的理论基础及大规模部署下的有效性。加入谷歌之前，他在约翰霍普金斯大学获得博士学位，并在加州大学伯克利分校接受了博士后培训。

扫码报名

更多热门报告

内容中包含的图片若涉及版权问题，请及时与我们联系删除