MOYU: A Theoretical Study on Massive Over-activation Yielded Uplifts in LLMs

“Massive Over-activation Yielded Uplifts (MOYU)”是大型语言模型的固有属性，基于MOYU属性的动态激活（DA）是一种巧妙但未被充分利用的策略，旨在加速这些模型的推理。利用MOYU的现有方法通常面临重大的“不可能三角”难题：努力同时保持模型性能、提高推理速度和扩展适用于各种架构。由于MOYU周围的理论模糊性，本文阐明了MOYU属性的根本原因，并概述了当前DA方法遇到的两个主要限制的机制：1）与历史相关的激活不确定性，2）语义不相关的激活惯性。我们的分析不仅强调了当前大规模LLaMA模型中动态激活策略的局限性，还提出了改进未来稀疏方案设计的机会。

解决问题的问题是如何在大型语言模型中加速推理，同时保持模型性能和适用于不同的架构？

动态激活策略可以加速推理，但当前的方法存在历史相关激活不确定性和语义无关激活惯性的限制。论文提出了一种新的稀疏方案来解决这些问题。

论文对MOYU属性的根本原因进行了阐述，并提出了一种新的稀疏方案来解决当前动态激活策略的限制。实验使用了大型语言模型，并提供了开源代码。

最近的相关研究包括《Scaling Laws for Neural Language Models》和《Efficient Transformers: A Survey》。